[論文レビュー] Gradient Aware Cascade Network for Multi-Focus Image Fusion.

Boyuan Ma, Xiang Yin+3 more|arXiv (Cornell University)|Oct 17, 2020

Advanced Image Fusion Techniques被引用数 4

ひとこと要約

本稿では、エンドツーエンドの方法で意思決定マップと融合画像を同時に生成することで、経験的後処理に依存することを排除する勾配に配慮したカスケードネットワークを提案する。勾配に配慮した損失関数と意思決定キャリブレーションを導入することで、最先端の手法と比較して、融合品質を向上させるとともに、複数枚の画像融合処理を30%以上高速化する。

ABSTRACT

The general aim of multi-focus image fusion is to gather focused regions of different images to generate a unique all-in-focus fused image. Deep learning based methods become the mainstream of image fusion by virtue of its powerful feature representation ability. However, most of the existing deep learning structures failed to balance fusion quality and end-to-end implementation convenience. End-to-end decoder design often leads to poor performance because of its non-linear mapping mechanism. On the other hand, generating an intermediate decision map achieves better quality for the fused image, but relies on the rectification with empirical post-processing parameter choices. In this work, to handle the requirements of both output image quality and comprehensive simplicity of structure implementation, we propose a cascade network to simultaneously generate decision map and fused result with an end-to-end training procedure. It avoids the dependence on empirical post-processing methods in the inference stage. To improve the fusion quality, we introduce a gradient aware loss function to preserve gradient information in output fused image. In addition, we design a decision calibration strategy to decrease the time consumption in the application of multiple image fusion. Extensive experiments are conducted to compare with 16 different state-of-the-art multi-focus image fusion structures with 6 assessment metrics. The results prove that our designed structure can generally ameliorate the output fused image quality, while implementation efficiency increases over 30\% for multiple image fusion.

研究の動機と目的

• ディープラーニングベースのマルチフォーカス画像融合における、融合品質と構造的シンプルさのトレードオフを解消すること。
• 意思決定マップと融合画像の両方の生成をエンドツーエンド学習で可能にすることで、経験的後処理に依存しないようにすること。
• 新しい損失関数を用いて勾配の保持を図ることで、融合品質を向上させること。
• 意思決定キャリブレーション戦略を用いることで、複数枚の画像融合において推論時間を短縮すること。

提案手法

• 意思決定マップと融合画像の両方をエンドツーエンド学習で同時に予測できるカスケードネットワークアーキテクチャを設計する。
• 融合出力における勾配情報を保持することで、構造的およびエッジディテールを保持する勾配に配慮した損失関数を導入する。
• 推論時の計算オーバーヘッドを低減するための意思決定キャリブレーション戦略を提案する。特に、複数枚の画像融合シナリオにおいて有効である。
• 後処理パラメータの手動チューニングを必要とせず、エンドツーエンドでネットワークを学習する。
• 構造的シンプルさを維持しながら、融合性能を向上させるために深層特徴表現を活用する。

実験結果

リサーチクエスチョン

• RQ1 経験的後処理を一切不要にした、統合されたエンドツーエンドネットワークアーキテクチャが、意思決定マップと融合画像を同時に生成できるか？
• RQ2 勾配に配慮した損失関数は、融合画像の知覚的および構造的品質をどのように向上させるか？
• RQ3 意思決定キャリブレーション戦略は、複数枚の画像融合応用において、推論時間をどの程度短縮できるか？
• RQ4 本手法は、16の最先端の融合ネットワークと比較して、性能と効率の面でどの程度優れているか？

主な発見

• 提案手法は、16の最先端手法と比較して、6つの評価指標において優れた融合品質を達成した。
• ネットワークは経験的後処理の必要性を排除し、推論のシンプルさと再現可能性を向上させた。
• 勾配に配慮した損失関数は、エッジおよびテクスチャディテールを効果的に保持し、融合画像の構造的類似性とシャープネスを向上させた。
• 意思決定キャリブレーション戦略により、複数枚の画像融合における時間消費を30%以上削減した。