[論文レビュー] Multi-interactive Feature Learning and a Full-time Multi-modality Benchmark for Image Fusion and Segmentation

Jinyuan Liu, Zhu Liu+6 more|arXiv (Cornell University)|Aug 4, 2023

Advanced Image Fusion Techniques被引用数 6

ひとこと要約

本稿では、階層的インタラクティブアテンション（HIA）と動的重み付けを備えた段階的アーキテクチャを用いて、マルチモダリティ画像融合とセマンティックセグメンテーションを共同最適化する、多様なインタラクティブ特徴学習フレームワーク「SegMiF」を提案する。本手法は、新規の24時間運用可能なマルチモダリティベンチマーク（FMB）において、SOTA（最先端）手法比で平均mIoUが7.66%向上し、実環境条件下でも優れた視覚的品質とセグメンテーション精度を示している。

ABSTRACT

Multi-modality image fusion and segmentation play a vital role in autonomous driving and robotic operation. Early efforts focus on boosting the performance for only one task, \emph{e.g.,} fusion or segmentation, making it hard to reach~`Best of Both Worlds'. To overcome this issue, in this paper, we propose a extbf{M}ulti- extbf{i}nteractive extbf{F}eature learning architecture for image fusion and extbf{Seg}mentation, namely SegMiF, and exploit dual-task correlation to promote the performance of both tasks. The SegMiF is of a cascade structure, containing a fusion sub-network and a commonly used segmentation sub-network. By slickly bridging intermediate features between two components, the knowledge learned from the segmentation task can effectively assist the fusion task. Also, the benefited fusion network supports the segmentation one to perform more pretentiously. Besides, a hierarchical interactive attention block is established to ensure fine-grained mapping of all the vital information between two tasks, so that the modality/semantic features can be fully mutual-interactive. In addition, a dynamic weight factor is introduced to automatically adjust the corresponding weights of each task, which can balance the interactive feature correspondence and break through the limitation of laborious tuning. Furthermore, we construct a smart multi-wave binocular imaging system and collect a full-time multi-modality benchmark with 15 annotated pixel-level categories for image fusion and segmentation. Extensive experiments on several public datasets and our benchmark demonstrate that the proposed method outputs visually appealing fused images and perform averagely $7.66\%$ higher segmentation mIoU in the real-world scene than the state-of-the-art approaches. The source code and benchmark are available at \url{https://github.com/JinyuanLiu-CV/SegMiF}.

研究の動機と目的

• 融合またはセグメンテーションを個別に最適化する従来手法の限界を解消し、両タスクにおける性能を最適化する。
• 融合ネットワークとセグメンテーションネットワーク間の特徴統合が不十分である課題を克服し、タスク間の知識移転を可能にする。
• 手動チューニングを必要とせず、タスク固有の損失を自動的にバランス調整する動的重み付け機構を構築する。
• 1500組の高精度に登録済みの画像ペアと15種類のピクセルレベルのカテゴリを備えた包括的で、24時間運用可能なマルチモダリティベンチマーク（FMB）を構築する。
• 濃霧、雨、低照度など多様な実環境条件下でも、頑健で高品質な画像融合と正確なセマンティックセグメンテーションを実現する。

提案手法

• 融合サブネットワークとセグメンテーションサブネットワークを統合したキャスケード型のSegMiFアーキテクチャを提案し、双方向の特徴統合を実現する。
• タスク間でモダリティ固有の特徴とセマンティック特徴の間で細粒度の多ヘッドアテンションマッピングを実行する、階層的インタラクティブアテンション（HIA）ブロックを設計する。
• 訓練中に各タスクの損失寄与度を適応的に調整する動的重み係数を導入し、手動ハイパーパramータチューニングを不要とするエンドツーエンド最適化を実現する。
• 1500組の同期された赤外線-可視光画像ペアと高密度のピクセルレベルアノテーションを収集するためのスマートなマルチウェーブステレオ撮影システムを実装する。
• HIAを用いることで、インヒレントなモダリティ特徴（例：赤外線の詳細）を保持するとともに、特に悪天候および低照度条件下でのセマンティック一貫性を向上させる。
• 共有特徴学習とタスク固有のヘッドを備えたマルチタスク学習スキームを採用し、セグメンテーションが融合をガイドし、融合が洗練された特徴を通じてセグメンテーションを向上させる。

実験結果

リサーチクエスチョン

• RQ1 画像融合とセマンティックセグメンテーションの共同最適化は、単一タスクまたは段階的アプローチと比較して、両タスクの性能を向上させ得るか？
• RQ2 モダリティ固有の特徴とセマンティック特徴を同時に保持できるように、タスク間の特徴統合を効果的にモデル化する方法は何か？
• RQ3 手動ハイパーパramータチューニングを必要としない動的損失重み付け戦略は、訓練の安定性と性能をどの程度向上させるか？
• RQ4 本手法は、濃霧、豪雨、低照度など、実環境で深刻な課題を伴う環境条件下で、どのように性能を発揮するか？
• RQ5 高密度のピクセルレベルアノテーションを備えた包括的で24時間運用可能なマルチモダリティベンチマークは、融合とセグメンテーションの共同研究を顕著に進展させるか？

主な発見

• 提案手法のSegMiFは、FMBベンチマークにおいてSOTA手法比で平均mIoUが7.66%向上し、mIoUは54.8%を達成した（2番目に優れた手法より上回る）。
• MFNetデータセットでも、SegMiFは2番目に優れた手法比で1.45%のmIoU向上を達成し、複数のデータセットにわたる一貫した性能向上を示した。
• 階層的インタラクティブアテンション（HIA）機構は特徴表現を顕著に向上させる。アブレーションスタディの結果、完全なHIA（SoAMとMoAMの両方を含む）はFMBで56.1%のmIoUを達成し、他の変種より最大4.2ポイント優れた。
• 動的重み係数は、視覚的品質とmIoUの両面で、手動チューニングや他のマルチタスク学習戦略を上回る優れたバランスを実現した。
• 可視化結果から、HIAが悪天候および低照度条件下でも顕著な赤外線特徴（例：歩行者、車両）を効果的に保持しており、ノイズや干渉を低減していることが確認された。
• FMBベンチマークには、1500組の高精度に登録済みの画像ペアと15種類のピクセルレベルのカテゴリが含まれており、多様なシーンと深刻な環境要因をカバーしており、共同融合・セグメンテーションモデルの堅牢な評価を可能にしている。