[論文レビュー] A Cross-Modal Image Fusion Theory Guided by Human Visual Characteristics.

Aiqing Fang, Xinbo Zhao+1 more|arXiv (Cornell University)|Dec 18, 2019

Advanced Image Fusion Techniques参考文献 59被引用数 5

ひとこと要約

本論文は、人間の視覚認知にインspiredされた新規なクロスモーダル画像融合理論を提案する。この理論は、チャネル注目メカニズム、非線形特徴融合、マルチタスク補助学習を統合したマルチロス非教師ありネットワークに組み込まれている。本手法は、赤外線可視光およびマルチフォーカス画像融合ベンチマークにおいて、耐障害性と一般化性能の面で最先端の性能を達成した。

ABSTRACT

The characteristics of feature selection, nonlinear combination and multi-task auxiliary learning mechanism of the human visual perception system play an important role in real-world scenarios, but the research of image fusion theory based on the characteristics of human visual perception is less. Inspired by the characteristics of human visual perception, we propose a robust multi-task auxiliary learning optimization image fusion theory. Firstly, we combine channel attention model with nonlinear convolutional neural network to select features and fuse nonlinear features. Then, we analyze the impact of the existing image fusion loss on the image fusion quality, and establish the multi-loss function model of unsupervised learning network. Secondly, aiming at the multi-task auxiliary learning mechanism of human visual perception system, we study the influence of multi-task auxiliary learning mechanism on image fusion task on the basis of single task multi-loss network model. By simulating the three characteristics of human visual perception system, the fused image is more consistent with the mechanism of human brain image fusion. Finally, in order to verify the superiority of our algorithm, we carried out experiments on the combined vision system image data set, and extended our algorithm to the infrared and visible image and the multi-focus image public data set for experimental verification. The experimental results demonstrate the superiority of our fusion theory over state-of-arts in generality and robustness.

研究の動機と目的

• 特徴選択、非線形結合、マルチタスク学習といった人間の視覚認知特性に基づいた画像融合理論の欠如に取り組むこと。
• 深層学習アーキテクチャ内で人間の視覚系のマルチタスクおよび非線形処理メカニズムをモデル化することで、融合品質を向上させること。
• 多様な画像融合タスクに一般化可能な、強力な非教師ありマルチロス最適化フレームワークを開発すること。
• 赤外線可視光およびマルチフォーカス画像ペアを含む、複数の公開データセット上で提案された融合理論を検証すること。

提案手法

• 入力画像からの顕著な特徴を的確に強調・融合できるように、チャネル注目メカニズムと非線形畳み込みニューラルネットワークを統合する。
• 構造的、強度的、勾配の一貫性を最適化することで融合品質を向上させる、非教師あり学習に適したマルチロス関数を設計する。
• 人間の視覚系が同時に複数の視覚的手がかりを処理できる能力にインspiredした、マルチタスク補助学習メカニズムを実装する。
• ネットワークアーキテクチャ内に、人間の視覚認知の3つの核心的特徴（特徴選択、非線形結合、マルチタスク処理）を模倣する。
• 主な融合ロスと補助タスクのロスを統合した共同最適化フレームワークを採用し、特徴表現と融合精度を向上させる。
• ペairedの真値融合結果を必要としない自己教師あり学習パラダイムを採用することで、実世界のデータに広く適用可能である。

実験結果

リサーチクエスチョン

• RQ1 特徴選択や非線形処理といった人間の視覚認知メカニズムを、深層画像融合ネットワーク内で効果的にモデル化する方法は何か？
• RQ2 単一タスク最適化と比較して、マルチタスク補助学習は画像融合性能にどのような影響を与えるか？
• RQ3 マルチロス非教師あり学習フレームワークは、既存の最先端手法を上回る性能を示せるか？
• RQ4 提案された融合理論は、赤外線可視光およびマルチフォーカス融合といった異なる画像融合タスクに、どの程度一般化可能か？
• RQ5 人間の視覚系にインspiredされたコンponentsは、融合画像の耐障害性と品質をどの程度向上させるか？

主な発見

• 提案手法は、統合視覚システムデータセットにおいて、最先端の手法と比較して優れた融合性能を達成した。
• チャネル注目と非線形特徴融合の統合により、重要な構造的および強度的詳細の保持が顕著に向上した。
• マルチタスク補助学習メカニズムにより、特徴表現が向上し、より自然で情報量の多い融合画像が得られた。
• マルチロス非教師ありフレームワークは、赤外線可視光およびマルチフォーカス画像融合を含む多様な画像融合タスクに強く一般化した。
• 定量的指標と視覚的品質の両面で、既存の手法を上回り、本手法の耐障害性と有効性が確認された。