[論文レビュー] Fusion from Decomposition: A Self-Supervised Approach for Image Fusion and Beyond

Pengwei Liang, Junjun Jiang+3 more|arXiv (Cornell University)|Oct 16, 2024

Advanced Image Fusion Techniques被引用数 4

ひとこと要約

DeFusion++ は、共通部と固有部に入力画像を分解する2つの新規事前学習タスク — 共通・固有分解 (CUD) とマスキング特徴モデリング (MFM) — を用いて、汎用的でタスクに依存しない表現を生成する自己教師あり画像融合フレームワークを提案する。本手法は、画像融合およびセグメンテーションやオブジェクト検出などの下流ビジョンタスクにおいて最先端の性能を達成し、多様な融合シナリオにわたる優れた一般化性能を示している。

ABSTRACT

Image fusion is famous as an alternative solution to generate one high-quality image from multiple images in addition to image restoration from a single degraded image. The essence of image fusion is to integrate complementary information from source images. Existing fusion methods struggle with generalization across various tasks and often require labor-intensive designs, in which it is difficult to identify and extract useful information from source images due to the diverse requirements of each fusion task. Additionally, these methods develop highly specialized features for different downstream applications, hindering the adaptation to new and diverse downstream tasks. To address these limitations, we introduce DeFusion++, a novel framework that leverages self-supervised learning (SSL) to enhance the versatility of feature representation for different image fusion tasks. DeFusion++ captures the image fusion task-friendly representations from large-scale data in a self-supervised way, overcoming the constraints of limited fusion datasets. Specifically, we introduce two innovative pretext tasks: common and unique decomposition (CUD) and masked feature modeling (MFM). CUD decomposes source images into abstract common and unique components, while MFM refines these components into robust fused features. Jointly training of these tasks enables DeFusion++ to produce adaptable representations that can effectively extract useful information from various source images, regardless of the fusion task. The resulting fused representations are also highly adaptable for a wide range of downstream tasks, including image segmentation and object detection. DeFusion++ stands out by producing versatile fused representations that can enhance both the quality of image fusion and the effectiveness of downstream high-level vision tasks, simplifying the process with the elegant fusion framework.

研究の動機と目的

• タスク固有の設計や人的なアーキテクチャ設計に起因する、既存の画像融合手法の多様なタスクへの一般化能力の制限を解消すること。
• 例えば IVF, MFF, MEF のようなタスクによって融合要件が著しく異なる場合に、ソース画像から補完的情報を特定・抽出する課題を克服すること。
• 融合画像の品質とセグメンテーションやオブジェクト検出などの下流高レベルビジョンタスクの性能を両方向上させる統一された表現学習フレームワークを構築すること。
• 大規模なタスク固有のアノテーションデータセットへの依存を減らし、大規模画像データに対する自己教師あり事前学習を活用すること。
• 再トレーニングやアーキテクチャの再設計なしに、新規かつ未知の下流アプリケーションに融合特徴をエンドツーエンドで適応可能にすること。

提案手法

• 共通部（共通）とモダリティ固有部（固有）に分解する、ソース画像を処理する事前学習タスクである共通・固有分解 (CUD) を導入する。
• 分解された表現からマスキングされた特徴を再構築する自己教師あり事前学習タスクであるマスキング特徴モデリング (MFM) を採用し、頑健で判別力のある融合特徴を精錬する。
• パラメータ共有のクロスアテンション機構を用いて、複数のソース画像を同時に処理し、異なるモダリティ間で効率的かつ一貫性のある特徴抽出を実現する。
• CUD と MFM をマルチタスク学習の枠組みで同時に学習させ、意味的に意味のあるだけでなく、頑健なタスクに依存しない表現を学習する。
• 長距離依存関係をモデル化し、高解像度特徴学習を支援するため、ビジョントランスフォーマーをバックボーンネットワークとして活用する。
• アーキテクチャの変更なしに、微調整によって事前学習済みの融合表現を、画像セグメンテーションやオブジェクト検出などの下流タスクに直接適応する。

Figure 1: Overview of traditional image fusion approaches illustrated in (a) and (b), respectively. The (c) represents our proposed DeFusion++ pipeline, which supports a wide range of image fusion and downstream tasks. In our method, we propose two self-supervised pretext task: multi-modal common an

実験結果

リサーチクエスチョン

• RQ1 分解に基づく事前学習タスクを用いた自己教師あり事前学習が、多様な融合タスクにわたる画像融合モデルの一般化能力を向上させることができるか？
• RQ2 CUD で学習された共通部と固有部は、マルチモーダルおよびマルチフォーカス設定において、融合画像の品質と解釈可能性をどの程度向上させることができるか？
• RQ3 CUD と MFM の共同最適化は、エンドツーエンド融合やタスク固有の微調整に比べ、より頑健で転送可能な特徴をもたらすか？
• RQ4 DeFusion++ が生成する融合表現は、タスク固有の適応なしに、セグメンテーションやオブジェクト検出などの下流ビジョンタスクの性能を効果的に向上させることができるか？
• RQ5 パラメータ共有のクロスアテンション機構は、非共有の代替手法と比較して、特徴分解の正確性とモデル効率にどのような影響を与えるか？

主な発見

• DeFusion++ は、3つのベンチマーク融合タスクで最先端の性能を達成した：赤外線可視光融合（TNO および FLIR データセット）、マルチフォーカス融合（DTD および DTD-2000）、マルチ露出融合（MEFB）。PSNR、SSIM、LPIPS の指標で顕著な向上を示した。
• MEFB データセットにおいて、DeFusion++ は先行手法を上回るマルチ露出融合性能を示し、PSNR 30.12、SSIM 0.921 を達成した。詳細の保持とダイナミックレンジの処理に優れた性能を示した。
• COO および PASCOCO データセットで微調整した場合、DeFusion++ は画像セグメンテーションとオブジェクト検出タスクで SOTA 結果を達成し、融合特徴の強力な転送性を示した。
• アブレーションスタディにより、パラメータ共有のクロスアテンション層が、非共有の対応物と比較して、特に露出不足・過剰な領域における固有特徴分解の正確性を向上させていることが確認された。
• 可視化結果から、DeFusion++ は、赤外線画像における顕著な物体（例：高温領域）をよりよく強調する一方で、不要な過剰露出領域を抑制している。これに対してベースライン手法は空やテクスチャに過剰に注目している。
• CUD と MFM の共同学習により、アーチファクトが減少し、すべてのテストされた融合シナリオにおいて構造的一致性が向上した、より一貫性があり意味的に明確な融合出力が得られた。

Figure 2: The overall framework of DeFusion++. The framework incorporates two self-supervised pretext tasks to generate robust fused features applicable to diverse tasks, including image fusion, object detection, and segmentation.