[論文レビュー] SESF-Fuse: An Unsupervised Deep Model for Multi-Focus Image Fusion

Boyuan Ma, Xiaojuan Ban+2 more|arXiv (Cornell University)|Aug 5, 2019

Advanced Image Fusion Techniques参考文献 25被引用数 19

ひとこと要約

本稿では、自己符号化器からの深層特徴と空間周波数を用いて活動度を測定し、統合の意思決定マップを生成する、教師なし深層学習モデルであるSESF-Fuseを提案する。この手法は、明度ではなく特徴の勾配に注目することで、合成学習データを必要とせず、16の既存手法を上回る客観的指標および主観的評価において最先端の性能を達成する。

ABSTRACT

In this work, we propose a novel unsupervised deep learning model to address multi-focus image fusion problem. First, we train an encoder-decoder network in unsupervised manner to acquire deep feature of input images. And then we utilize these features and spatial frequency to measure activity level and decision map. Finally, we apply some consistency verification methods to adjust the decision map and draw out fused result. The key point behind of proposed method is that only the objects within the depth-of-field (DOF) have sharp appearance in the photograph while other objects are likely to be blurred. In contrast to previous works, our method analyzes sharp appearance in deep feature instead of original image. Experimental results demonstrate that the proposed method achieves the state-of-art fusion performance compared to existing 16 fusion methods in objective and subjective assessment.

研究の動機と目的

• 限られた被写界深度により、シーンの一部しか合焦していない状況におけるマルチフォーカス画像統合の課題に対処すること。
• 合成学習データや教師ありラベルの必要がない、教師なしの深層学習手法の開発。
• 明度や生の画像勾配ではなく、深層特徴におけるシャープネスに注目することで、統合性能の向上。
• 教師なし表現学習と、空間周波数のような従来の画像処理技術を組み合わせ、活動度推定の堅牢性を高めること。
• 既存手法と比較して、客観的指標および視覚的品質の両面で優れた統合結果を達成すること。

提案手法

• 入力のマルチフォーカス画像から高レベルの深層特徴を抽出するために、教師なしのエンコーダ-デコーダーネットワークを訓練する。
• 空間周波数を深層特徴と併用して、画像領域の活動度を計算し、シャープネスに注目する。
• 統合された活動度に基づいて意思決定マップを生成し、出力統合画像における元の入力画像のどのピクセルを選択するかを決定する。
• 一貫性の検証手法を適用して意思決定マップを精緻化し、アーチファクトを低減する。
• 精緻化された意思決定マップと元の入力画像ピクセルを用いて、最終的な統合画像を再構築する。
• この手法は、被写界深度内にある物体にのみシャープな外観が現れることを仮定しており、これは深層特徴の勾配によって捉えられる。

実験結果

リサーチクエスチョン

• RQ1 教師なしの深層学習モデルは、合成学習データや教師ありアノテーションを必要とせずに、マルチフォーカス画像を効果的に統合できるか？
• RQ2 深層特徴と空間周波数を用いた活動度測定は、明度ベースや勾配ベースの手法を上回る性能を発揮するか？
• RQ3 客観的指標および視覚的品質の両面で、本手法は既存の最先端手法と比較してどのように差をつけるか？
• RQ4 教師なし表現学習と従来の画像処理技術の組み合わせは、優れた統合結果をもたらすか？
• RQ5 フォーカスの遷移が生じるエッジや境界領域において、本手法は頑健か？

主な発見

• SESF-Fuseは、17の手法の中で$Q_{g}$と$Q_{cb}$の平均スコアが最高となり、$Q_{g} = 0.7105$、$Q_{cb} = 0.7848$を達成し、16のベースラインをすべて上回った。
• スコア2.8886を記録し、$Q_{m}$指標において最良の性能を示し、優れたロバストネスと一貫性を示した。
• 主観的評価では、SESF-Fuseは特に合焦領域とぼやけた領域の境界や遷移領域で、よりシャープで正確な統合画像を生成した。
• DenseFuseやDWT、CVTなどの手法とは異なり、CNN-Fuseとは異なり、合成データを用いた教師あり学習を必要とせず、完全に教師なしで動作する。
• 差分画像の結果から、SESF-Fuseは、最小限の残存情報で正確に合焦領域を検出できており、DWT、CVT、DenseFuseなどの手法を上回った。
• 複雑なシーンにおいても、細部を効果的に保持しており、コalaの耳や「シドニー・オペラ・ハウス」の画像における人物の細部において、他の手法がぼやけたまたは一貫性のない結果を出すのに対し、SESF-Fuseは明確に保った。