[論文レビュー] Beyond Night Visibility: Adaptive Multi-Scale Fusion of Infrared and Visible Images

Shufan Pei, Junhong Lin+3 more|arXiv (Cornell University)|Mar 2, 2024

Advanced Image Fusion Techniques被引用数 4

ひとこと要約

本稿では、赤外線画像と可視画像を用いて明るさの低下と光効果の劣化を同時に補正することで、夜間の視認性を向上させる、適応的でマルチスケール融合ネットワークAMFusionを提案する。独創的な照度損失を用いて、空間的（照度に配慮した）および意味的（検出器誘導型）特徴を別々に融合することで、優れた視覚的品質とpedestrian検出で61.7% mAP50→95を達成し、最先端手法を上回る性能を発揮する。

ABSTRACT

In addition to low light, night images suffer degradation from light effects (e.g., glare, floodlight, etc). However, existing nighttime visibility enhancement methods generally focus on low-light regions, which neglects, or even amplifies the light effects. To address this issue, we propose an Adaptive Multi-scale Fusion network (AMFusion) with infrared and visible images, which designs fusion rules according to different illumination regions. First, we separately fuse spatial and semantic features from infrared and visible images, where the former are used for the adjustment of light distribution and the latter are used for the improvement of detection accuracy. Thereby, we obtain an image free of low light and light effects, which improves the performance of nighttime object detection. Second, we utilize detection features extracted by a pre-trained backbone that guide the fusion of semantic features. Hereby, we design a Detection-guided Semantic Fusion Module (DSFM) to bridge the domain gap between detection and semantic features. Third, we propose a new illumination loss to constrain fusion image with normal light intensity. Experimental results demonstrate the superiority of AMFusion with better visual quality and detection accuracy. The source code will be released after the peer review process.

研究の動機と目的

• 既存の夜間視認性向上手法が低照度領域の改善と同時に光効果を強調するという限界を是正すること。
• 夜間画像における低照度と過剰露出の両方の問題を同時に軽減するマルチモodalな統合フレームワークの開発。
• 検出器誘導型特徴統合を活用することで、低照度条件下での物体検出精度の向上。
• 出力の照度が正常なレベルを保つように制約を課す、非教師付きの照度損失の設計。
• 検出器誘導型統合モジュールにより、検出と意味的特徴の間のドメインギャップを埋める。

提案手法

• AMFusionは、赤外線および可視画像から空間的および意味的表現のための別々の特徴抽出を実施する。
• 照度に配慮した検出器統合モジュール（IDFM）は、照度情報を用いて空間的特徴を統合し、光の分布を是正する。
• 検出器誘導型意味的統合モジュール（DSFM）は、事前学習済みの検出器特徴を用いて意味的特徴の統合を誘導し、検出精度を向上させる。
• 空間的特徴と統合された意味的特徴を組み合わせ、視覚的品質が向上した最終的な統合画像を生成する。
• 強度と露出制御の2要素から成る、独創的な非教師付き照度損失を導入し、出力における現実的な照度分布を保証する。
• 視覚的忠実度と検出性能の両方を最適化するため、知覚損失、検出損失、照度損失の組み合わせを用いてエンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 赤外線と可視画像のマルチスケール統合は、夜間画像における低照度と光効果の劣化の両方を効果的に抑制できるか？
• RQ2 事前学習済みモデルの検出特徴は、赤外線・可視画像統合における意味的特徴統合をどのように向上させるか？
• RQ3 非教師付き照度損失は、統合された夜間画像の現実性と品質をどの程度向上させるか？
• RQ4 照度領域に基づく適応的統合は、均一な統合戦略に比べて、より優れた検出性能をもたらすか？
• RQ5 空間的、意味的、照度に配慮したモジュールの各々が、全体の統合性能に果たす相対的な貢献度は何か？

主な発見

• AMFusionはM³FD+LLVIPデータセットで61.7% mAP50→95を達成し、すべてのベースライン手法を上回る。
• すべてのモジュール（IDFM, DSFM, SRM, および完全な照度損失）を備えたモデルが最良の検出性能を示し、7.323 mAP50→95のスコアを記録した。
• アブレーションスタディの結果、IDFM, DSFM, SRMの各モジュールが段階的に検出精度と視覚的品質の向上に寄与していることが確認された。
• 照度損失は光の分布を著しく改善し、完全な損失設定では過剰露出が低減され、視覚的リアリズムが向上していることが視覚的比較で示された。
• 検出器誘導型意味的統合モジュール（DSFM）により、特徴の整合性とターゲットへの注目が向上し、歩行者のような小さな物体の正確な検出が可能になった。
• 照度損失を削除すると、mAP50→95は61.7%から60.4%に低下し、その重要性が裏付けられた。