[論文レビュー] AE-Net: Autonomous Evolution Image Fusion Method Inspired by Human Cognitive Mechanism

Aiqing Fang, Xinbo Zhao+3 more|arXiv (Cornell University)|Jul 17, 2020

Advanced Image Fusion Techniques参考文献 58被引用数 4

ひとこと要約

AE-Netは、人間の脳の認知メカニズムを模倣することで、複数手法の協調、複数指標評価、反復学習を通じて自律的進化を実現する、画像融合のための新規手法を提案する。これにより、非教師あり画像融合を教師ありに近い形に変換し、赤外線可視光、マルチフォーカス、医療画像を含む多様なデータセットにおいて、著しく高い耐障害性と汎用性を実現する。

ABSTRACT

In order to solve the robustness and generality problems of the image fusion task,inspired by the human brain cognitive mechanism, we propose a robust and general image fusion method with autonomous evolution ability, and is therefore denoted with AE-Net. Through the collaborative optimization of multiple image fusion methods to simulate the cognitive process of human brain, unsupervised learning image fusion task can be transformed into semi-supervised image fusion task or supervised image fusion task, thus promoting the evolutionary ability of network model weight. Firstly, the relationship between human brain cognitive mechanism and image fusion task is analyzed and a physical model is established to simulate human brain cognitive mechanism. Secondly, we analyze existing image fusion methods and image fusion loss functions, select the image fusion method with complementary features to construct the algorithm module, establish the multi-loss joint evaluation function to obtain the optimal solution of algorithm module. The optimal solution of each image is used to guide the weight training of network model. Our image fusion method can effectively unify the cross-modal image fusion task and the same modal image fusion task, and effectively overcome the difference of data distribution between different datasets. Finally, extensive numerical results verify the effectiveness and superiority of our method on a variety of image fusion datasets, including multi-focus dataset, infrared and visi-ble dataset, medical image dataset and multi-exposure dataset. Comprehensive experiments demonstrate the superiority of our image fusion method in robustness and generality. In addition, experimental results also demonstate the effectiveness of human brain cognitive mechanism to improve the robustness and generality of image fusion.

研究の動機と目的

• 複雑で多様なデータ分布下における従来の画像融合手法の耐障害性と汎用性の欠如を解決する。
• 信頼できるラベルや品質指標が欠如しているため、非教師あり学習の限界を克服する。
• 人間の脳の認知プロセスにインspiredされた継続的学習メカニズムを導入し、自律的モデル進化を可能にする。
• 同一モodalおよび異モダリティの画像融合タスクを統合的に扱える、一元的で適応可能なフレームワークを構築する。
• 複数の補完的手法からの知識連携を統合することで、深層学習ベースの画像融合の汎用性を向上させる。

提案手法

• 三モジュールフレームワーク（複数手法協調モジュール、複数指標評価モジュール、反復的最適化モジュール）を提案する。
• 作業記憶と継続的学習をサポートする物理モデルを用いて、人間の脳の認知メカニズムを模倣する。
• 複数の画像品質指標を統合したマルチロス共同評価関数を用い、各画像に対して最適な融合結果を選択する。
• 複数手法による最良の融合結果を偽ラベルとして用いることで、非教師あり画像融合を教師ありに近い形に変換する。
• 最良の性能を示す融合結果に基づき、反復的最適化でネットワーク重みを更新し、自律的進化を実現する。
• 多様な画像融合手法からの補完的特徴を活用し、特徴選択と非線形融合特性を強化する。

実験結果

リサーチクエスチョン

• RQ1 人間の脳の認知メカニズムを模倣することで、画像融合ネットワークの耐障害性と汎用性が向上するか？
• RQ2 非教師あり画像融合を効果的に教師あり学習問題に変換する方法は何か？
• RQ3 複数の画像融合手法間の知識連携が、性能と安定性にどの程度寄与するか？
• RQ4 マルチロス評価関数は、最適な融合結果に向けたネットワーク重みの進化を効果的に誘導できるか？
• RQ5 自律的進化メカニズムは、異なるデータ分布を持つ多様な画像融合タスクでどの程度の性能を示すか？

主な発見

• AE-Netは、マルチフォーカス、赤外線可視光、マルチ露出、医療画像を含む5つの多様な画像融合タスクで優れた性能を達成する。
• データセット間の分布シフトに対しても顕著な耐障害性を示し、クロスデータセットの汎用性において最先端手法を上回る。
• 包括的なアブレーションスタディにより、認知メカニズムの模倣がモデルの安定性と学習効率を向上させることを確認した。
• 複数指標評価と複数手法からの偽ラベルの活用により、収束性と最終的な融合品質が向上した。
• AE-Netの自律的進化メカニズムにより、再訓練なしに継続的な改善が可能であり、人間の脳の学習様式を模倣した。
• 実験結果により、人間の脳にインspiredされた認知メカニズムが、画像融合における耐障害性と汎用性を顕著に向上させることを検証した。