[論文レビュー] End-to-End Learning for Simultaneously Generating Decision Map and Multi-Focus Image Fusion Result

Boyuan Ma, Xiang Yin+2 more|arXiv (Cornell University)|Oct 17, 2020

Advanced Image Fusion Techniques参考文献 58被引用数 78

ひとこと要約

本稿では、経験的後処理を回避するため、エンド・ツー・エンドで同時に意思決定マップと融合マルチフォーカス画像を生成するキャスケードネットワーク、GACNを提案する。勾配に配慮した損失関数と意思決定キャリブレーション戦略を導入することで、融合品質が向上し、複数画像融合の処理速度が30%以上向上する。

ABSTRACT

The general aim of multi-focus image fusion is to gather focused regions of different images to generate a unique all-in-focus fused image. Deep learning based methods become the mainstream of image fusion by virtue of its powerful feature representation ability. However, most of the existing deep learning structures failed to balance fusion quality and end-to-end implementation convenience. End-to-end decoder design often leads to unrealistic result because of its non-linear mapping mechanism. On the other hand, generating an intermediate decision map achieves better quality for the fused image, but relies on the rectification with empirical post-processing parameter choices. In this work, to handle the requirements of both output image quality and comprehensive simplicity of structure implementation, we propose a cascade network to simultaneously generate decision map and fused result with an end-to-end training procedure. It avoids the dependence on empirical post-processing methods in the inference stage. To improve the fusion quality, we introduce a gradient aware loss function to preserve gradient information in output fused image. In addition, we design a decision calibration strategy to decrease the time consumption in the application of multiple images fusion. Extensive experiments are conducted to compare with 19 different state-of-the-art multi-focus image fusion structures with 6 assessment metrics. The results prove that our designed structure can generally ameliorate the output fused image quality, while implementation efficiency increases over 30\% for multiple images fusion.

研究の動機と目的

• ディープラーニングベースの画像融合における、融合品質とエンド・ツー・エンド学習の単純さのトレードオフを解決すること。
• 融合画像生成における意思決定マップ補正のための経験的後処理に依存しないようにすること。
• 新しい損失関数により、融合画像における勾配情報を保持すること。
• 意思決定キャリブレーション戦略を用いて、複数画像融合における計算効率を向上させること。

提案手法

• エンド・ツー・エンドで意思決定マップと融合画像を同時に予測するキャスケードネットワークアーキテクチャを提案する。
• 勾配類似度を最適化することでエッジやテクスチャの詳細を保持する勾配に配慮した損失関数（LQg）を導入する。
• 複数の入力画像における活性度を計算する意思決定キャリブレーションモジュールを採用し、複数画像融合における余分な計算を低減する。
• LDiceとLQg損失関数の組み合わせにより、意思決定マップの正確性と勾配の保持を向上させる。
• 数値的安定性とパフォーマンス向上のため、勾配損失において滑らかな近似と絶対値関数を適用する。
• 後処理を一切行わず、エンド・ツー・エンドで学習することで、融合画像品質の直接最適化を保証する。

実験結果

リサーチクエスチョン

• RQ1 後処理を一切行わず、エンド・ツー・エンド学習によって高品質な意思決定マップと融合画像を同時に生成できるか？
• RQ2 勾配に配慮した損失関数は、融合マルチフォーカス画像の知覚的品質をどのように向上させるか？
• RQ3 意思決定キャリブレーション戦略は、複数画像融合における処理時間の消費を顕著に削減できるか？
• RQ4 提案手法は、19の最先端手法と比較して、融合品質と効率性の両面で優れているか？

主な発見

• 提案されたGACNは、6つの評価指標において優れた融合品質を達成し、19のSOTA手法を上回った。
• LDiceとLQg損失関数の組み合わせが最良のパフォーマンスを示し、LQgが勾配情報の保持において最も効果的であった。
• 意思決定キャリブレーション戦略により、'chip'データセットではシリアル融合と比較して処理時間を30.65%削減し、全手法で30%以上の効率性向上を達成した。
• アブレーションスタディの結果、LQgはLEGやLSTよりも構造的詳細の保持において優れていた。
• 顕微鏡画像など、複数のフォーカスポイントを持つ多様なデータセットでも、安定したパフォーマンスを発揮した。
• 可視化結果から、GACNはCNN-FuseやSESF-Fuseと比較して、より明確でアーチファクトの少ない融合画像を生成した。