[論文レビュー] DeepFuse: A Deep Unsupervised Approach for Exposure Fusion with Extreme Exposure Image Pairs

Ram Prabhakar Kathirvel, V. Sai Srikar+1 more|arXiv (Cornell University)|Dec 20, 2017

Advanced Image Fusion Techniques被引用数 40

ひとこと要約

DeepFuseは、教師なしの深層畳み込みニューラルネットワークフレームワークを提案し、真のラベルを必要とせずに極端な露出差を持つ画像ペアの融合を実現する。ノンリファレンスの画像品質評価指標を損失関数として用い、入力画像からの低レベル特徴を統合するエンドツーエンドのネットワークを訓練することで、最先端の手法と比較して優れた知覚的品質とアーティファクトのない結果を達成する。最小限の学習データでも同様の性能を発揮する。

ABSTRACT

We present a novel deep learning architecture for fusing static multi-exposure images. Current multi-exposure fusion (MEF) approaches use hand-crafted features to fuse input sequence. However, the weak hand-crafted representations are not robust to varying input conditions. Moreover, they perform poorly for extreme exposure image pairs. Thus, it is highly desirable to have a method that is robust to varying input conditions and capable of handling extreme exposure without artifacts. Deep representations have known to be robust to input conditions and have shown phenomenal performance in a supervised setting. However, the stumbling block in using deep learning for MEF was the lack of sufficient training data and an oracle to provide the ground-truth for supervision. To address the above issues, we have gathered a large dataset of multi-exposure image stacks for training and to circumvent the need for ground truth images, we propose an unsupervised deep learning framework for MEF utilizing a no-reference quality metric as loss function. The proposed approach uses a novel CNN architecture trained to learn the fusion operation without reference ground truth image. The model fuses a set of common low level features extracted from each image to generate artifact-free perceptually pleasing results. We perform extensive quantitative and qualitative evaluation and show that the proposed technique outperforms existing state-of-the-art approaches for a variety of natural images.

研究の動機と目的

• 極端な露出差を持つ画像ペアの融合という課題に取り組む。既存の手法はアーティファクトや低い耐性のため、この問題に対処できない。
• マルチ露出融合における教師あり深層学習のための十分な学習データと真のラベルの不足を克服する。
• パrameterの微調整なしに多様な照明条件やシーン状況に一般化可能な汎用的でエンドツーエンドの深層学習フレームワークを開発する。
• 真のラベルが存在しない状況でも、知覚的品質評価指標が損失関数として効果的に機能できることを示す。

提案手法

• 共有重みを持つCNNアーキテクチャが、極端な露出差を持つ画像ペアの各画像から共通の低レベル特徴を抽出する。
• 対応する画像ペアからの特徴量がマージ層を介して統合され、統合表現が形成される。
• 統合された特徴量は再構成層を通過し、最終的な融合画像が生成される。
• 真のラベル画像が不要であるため、ノンリファレンスの画像品質評価指標を損失関数として用いてエンドツーエンドでネットワークを訓練する。
• 損失関数は、実際の性能でℓ₁やMSE損失を上回ることを示した知覚的指標（MEF SSIM）に基づいている。
• 屋内／屋外、昼間／夜間など多様な実世界の状況下で撮影された露出スタックの大量で多様なデータセットを用いてモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 教師なしの深層畳み込みニューラルネットワークは、真のラベルなしに極端な露出差を持つ画像ペアを効果的に融合できるか？
• RQ2 真のラベル画像が存在しない状況で、ノンリファレンスの画像品質評価指標はマルチ露出融合における損失関数として効果的か？
• RQ3 微調整なしに、多様な露出条件やシーンタイプに一般化できる単一の学習済みモデルは可能か？
• RQ4 MEF SSIM のような知覚的指標を損失関数として用いることで、ℓ₁ や MSE といった標準損失関数よりも優れた融合結果が得られるか？
• RQ5 同じ学習済みネットワークを、マルチフォーカス融合などの他の画像融合タスクに転送可能か？

主な発見

• DeepFuseは、多様な自然画像シーケンスにおいて、定量的および定性的な両評価で7つの最先端手法を上回る性能を示した。
• 3枚の露出スタックでは、DeepFuseの平均MEF SSIMは0.987であり、Mertensらの0.979を上回った。
• 4枚の露出スタックでは、DeepFuseの平均MEF SSIMは0.972であったが、Mertensらの0.978よりは低い性能にとどまった。これは限られた学習データによる影響である。
• Mertens らの手法よりも3〜4倍高速であり、GPU上での512×384画像の推論時間は0.07秒であった。
• 微調整なしにマルチフォーカス融合に一般化し、すべての領域がフォーカスされた結果を生成した。学習済み特徴の汎用性を示している。
• 正確なMEF SSIMを損失関数として用いることで、ℓ₁ や MSE より優れた結果が得られ、その有効性が裏付けられた。