[論文レビュー] A Symmetric Encoder-Decoder with Residual Block for Infrared and Visible Image Fusion

Lihua Jian, Xiaomin Yang+4 more|arXiv (Cornell University)|May 27, 2019

Advanced Image Fusion Techniques参考文献 40被引用数 12

ひとこと要約

本稿では、中間特徴抽出、アテンションマップ、補正特徴を活用して詳細な保存性と融合品質を向上させる、赤外線および可視光画像融合のための対称的エンコーダデコーダネットワークであるSEDRFuseを提案する。本手法は、主観的および客観的評価の両方で最先端の性能を達成し、融合精度と速度の面で既存手法を上回っている。

ABSTRACT

In computer vision and image processing tasks, image fusion has evolved into an attractive research field. However, recent existing image fusion methods are mostly built on pixel-level operations, which may produce unacceptable artifacts and are time-consuming. In this paper, a symmetric encoder-decoder with a residual block (SEDR) for infrared and visible image fusion is proposed. For the training stage, the SEDR network is trained with a new dataset to obtain a fixed feature extractor. For the fusion stage, first, the trained model is utilized to extract the intermediate features and compensation features of two source images. Then, extracted intermediate features are used to generate two attention maps, which are multiplied to the input features for refinement. In addition, the compensation features generated by the first two convolutional layers are merged and passed to the corresponding deconvolutional layers. At last, the refined features are fused for decoding to reconstruct the final fused image. Experimental results demonstrate that the proposed fusion method (named as SEDRFuse) outperforms the state-of-the-art fusion methods in terms of both subjective and objective evaluations.

研究の動機と目的

• ピクセルレベルの画像融合手法に起因する登録されていない入力による遅延およびアーチファクトの問題を解消すること。
• 赤外線および可視光画像からの重要な構造的・テクスチャ的詳細を保持しつつ、計算コストを低減する特徴レベルの融合フレームワークを開発すること。
• 訓練の安定性と特徴表現の向上を図るため、残差ブロックを備えた対称的エンコーダデコーダアーキテクチャを設計すること。
• アテンションマップと補正特徴の有効性を検証し、より優れた視覚的および定量的性能を実現するための融合出力の最適化を検討すること。

提案手法

• 独自のデータセットで学習された、残差ブロックを備えた対称的エンコーダデコーダネットワーク（SEDR）を、赤外線および可視光画像の固定特徴抽出器として用いる。
• エンコーダからの中間特徴を用いて2つのアテンションマップを生成し、要素ごとの乗算により入力特徴を精緻化する。
• 最初の2つの畳み込み層からの補正特徴を統合し、対応する逆畳み込み層に渡してダウンサンプリング時の詳細損失を軽減する。
• 融合された中間特徴と融合された補正特徴を別々にデコードし、最終的な融合画像を再構築する。
• 入力と出力の差を最小化する損失関数を用いてネットワークを学習させ、代表的で安定した特徴学習を保証する。
• 再学習なしに、マルチフォーカス、医療（CT-MRI）、マルチ露出などの他のマルチモodal画像融合タスクへも拡張可能であり、汎用性を示している。

実験結果

リサーチクエスチョン

• RQ1 残差ブロックを備えた対称的エンコーダデコーダは、赤外線および可視光画像からの補完的特徴を効果的に抽出・融合できるか？
• RQ2 中間特徴から導出されるアテンションマップは、標準的な融合戦略と比較して、融合画像の品質をどのように向上させるか？
• RQ3 初期畳み込み層からの補正特徴は、融合プロセスにおけるダウンサンプリング時の詳細損失をどの程度軽減するか？
• RQ4 赤外線・可視光画像ペアの独自データセットで学習させることで、MSCOCOなどの汎用データセットを用いた場合と比較して、より優れた融合性能が得られるか？
• RQ5 提案されたSEDRFuseフレームワークは、赤外線・可視光融合にとどまらず、他のマルチモダリティ画像融合タスクにも一般化可能か？

主な発見

• SEDRFuse手法は、TNOおよびFLIRデータセットの両方で、客観的指標において最先端の手法を上回っており、TNOデータセットではSSIMスコアが0.7219、VIFが0.5511を記録した。
• 1枚あたりの平均融合時間は1.635秒であり、CNN（86.069秒）やFusionGAN（1.637秒）と比較して顕著に高速である。
• FLIRおよびKAISTの独自の赤外線・可視光データセットで学習させた場合、MSCOCOで学習させた場合と比較して、SSIMが0.0305向上し、VIFが0.0680向上した。
• アテンションマップと補正特徴の活用により、複数のデータセットにおける視覚的比較で、より自然で詳細な融合画像が得られた。
• マルチフォーカス、医療（CT-MRI）、マルチ露出画像など、他の画像融合タスクに対しても、再学習なしに良好な一般化性能を示し、視覚的に整合的で情報豊かな融合出力を得られた。