[論文レビュー] Cross Attention-guided Dense Network for Images Fusion

Zhengwen Shen, Jun Wang+3 more|arXiv (Cornell University)|Sep 23, 2021

Advanced Image Fusion Techniques参考文献 30被引用数 5

ひとこと要約

本稿では、マルチモodal、マルチ露出、マルチフォーカス画像融合のための統合的で教師なしの深層学習フレームワーク、Cross Attention-guided Dense Network for Images Fusion (CADNIF) を提案する。クロスアテンション機構を活用して空間的対応関係をモデル化し、密度的な接続を用いて特徴抽出を強化することで、CADNIF は多様な画像融合タスクにおいて優れた融合性能を達成し、定量的・定性的に最先端の手法を上回っている。

ABSTRACT

In recent years, various applications in computer vision have achieved substantial progress based on deep learning, which has been widely used for image fusion and shown to achieve adequate performance. However, suffering from limited ability in modeling the spatial correspondence of different source images, it still remains a great challenge for existing unsupervised image fusion models to extract appropriate feature and achieves adaptive and balanced fusion. In this paper, we propose a novel cross-attention-guided image fusion network, which is a unified and unsupervised framework for multi-modal image fusion, multi-exposure image fusion, and multi-focus image fusion. Different from the existing self-attention module, our cross-attention module focus on modeling the cross-correlation between different source images. Using the proposed cross attention module as a core block, a densely connected cross attention-guided network is built to dynamically learn the spatial correspondence to derive better alignment of important details from different input images. Meanwhile, an auxiliary branch is also designed to model the long-range information, and a merging network is attached to finally reconstruct the fusion image. Extensive experiments have been carried out on publicly available datasets, and the results demonstrate that the proposed model outperforms the state-of-the-art quantitatively and qualitatively.

研究の動機と目的

• 教師なしの深層画像融合ネットワークにおける空間的対応関係のモデル化の限界を解決すること。
• 入力画像間のクロス相関を明示的に学習することで、特徴抽出と適応的融合を向上させること。
• マルチモダリティ、マルチ露出、マルチフォーカス画像融合を一つの深層学習フレームワークで統合すること。
• 密度的な接続と補助的なグローバルコンテキストモデリングを活用して特徴表現を強化すること。
• 教師なしで、ロバストでバランスの取れた、高品質な融合を実現すること。

提案手法

• 異なる入力画像間のクロス相関をモデル化するクロスアテンションモジュールを導入し、空間的対応関係に焦点を当てる。
• 特徴の集約と勾配の流れ、特徴の再利用を改善するため、密度的な接続アーキテクチャを採用する。
• 長距離のコンテキスト的依存関係とグローバルな画像構造を捉えるために補助ブランチを組み込む。
• 整列した特徴から最終的な融合画像を再構築するためのリーマンスマージングネットワークを適用する。
• 深層部の間で重要な特徴を保持・伝搬するために、グローバルリーマンス学習（GRL）を適用する。
• 入力画像の特性に基づいて、クロス自己アテンションとクロス空間アテンションを用いたタスク固有の融合モジュールを設計する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、教師なし画像融合において、入力画像間の空間的対応関係をどのようにより良くモデル化できるか？
• RQ2 クロスアテンション機構は、多様な画像融合タスクにおいて、特徴の整合性と融合品質を向上させることができるか？
• RQ3 補助的なグローバルコンテキストモデリングは、複雑な画像融合シナリオにおいて、融合性能をどの程度向上させるか？
• RQ4 密度的な接続とアテンション機構の統合は、特徴表現と再構築の質をどのように向上させるか？
• RQ5 統合フレームワークは、マルチモダリティ、マルチ露出、マルチフォーカス画像融合を一貫した性能で効果的に処理できるか？

主な発見

• 提案された CADNIF モデルは、複数の画像融合ベンチマークで最先端の性能を達成し、定量的・定性的な両評価で既存手法を上回っている。
• 赤外線と可視光画像融合において、CADNIF は Qabf スコア 0.4070、SD 103.5565、CC 14.8226 を達成し、すべてのアブレーションバリアントを上回った。
• アブレーションスタディの結果、補助ネットワーク（AU）とグローバルリーマンス学習（GRL）のコンponentsが SD および Qabf スコアの向上に顕著に寄与した。
• アテンションマップの可視化により、両方の入力画像からの顕著な特徴および構造的詳細への有効なアテンションの割り当てが確認された。
• 4つの融合タスク（マルチモダリティ、マルチ露出、マルチフォーカス、医療画像融合）にわたる一般化性能が強く示された。
• フルモデル（CA-DRDB-AU-GRL-Net）がすべての指標で最高スコアを記録し、統合されたコンponentsの有効性が裏付けられた。