[論文レビュー] Sparse Representation based Multi-sensor Image Fusion: A Review

Qiang Zhang, Yi Liu+3 more|arXiv (Cornell University)|Feb 12, 2017

Advanced Image Fusion Techniques参考文献 64被引用数 10

ひとこと要約

本論文は、スパース表現（SR）に基づくマルチセンサ画像融合について包括的なレビューを提供し、そのコアな構成要素として、スパース表現モデル、辞書学習手法、アクティビティレベルの融合ルールを分析している。SRベースの手法が、データ駆動型の過完備辞書を学習することで、従来のマルチスケール変換手法を上回り、特に不整合状態下でも主観的および客観的評価の両方で優れた融合性能を達成していることを示している。

ABSTRACT

As a result of several successful applications in computer vision and image processing, sparse representation (SR) has attracted significant attention in multi-sensor image fusion. Unlike the traditional multiscale transforms (MSTs) that presume the basis functions, SR learns an over-complete dictionary from a set of training images for image fusion, and it achieves more stable and meaningful representations of the source images. By doing so, the SR-based fusion methods generally outperform the traditional MST-based image fusion methods in both subjective and objective tests. In addition, they are less susceptible to mis-registration among the source images, thus facilitating the practical applications. This survey paper proposes a systematic review of the SR-based multi-sensor image fusion literature, highlighting the pros and cons of each category of approaches. Specifically, we start by performing a theoretical investigation of the entire system from three key algorithmic aspects, (1) sparse representation models; (2) dictionary learning methods; and (3) activity levels and fusion rules. Subsequently, we show how the existing works address these scientific problems and design the appropriate fusion rules for each application, such as multi-focus image fusion and multi-modality (e.g., infrared and visible) image fusion. At last, we carry out some experiments to evaluate the impact of these three algorithmic components on the fusion performance when dealing with different applications. This article is expected to serve as a tutorial and source of reference for researchers preparing to enter the field or who desire to employ the sparse representation theory in other fields.

研究の動機と目的

• 従来のマルチスケール変換（MST）手法と比較して、スパース表現（SR）に基づくマルチセンサ画像融合手法を体系的かつ分析的にレビューすること。
• 融合性能に与える影響を特定・評価することを目的とした、3つの主要な構成要素（スパース表現モデル、辞書学習戦略、アクティビティレベルの融合ルール）の影響を評価すること。
• 分野に新たに参入する研究者や、SR理論を他の画像融合応用に応用しようとする研究者を対象としたチュートリアルおよびリファレンスガイドを提供すること。
• マルチフォーカスおよびマルチモality画像融合タスクにおいて、さまざまなSRモデル、辞書タイプ、融合ルールの性能差を調査すること。
• パッチベースのSR融合における計算複雑性や空間アーチファクトの課題を検討し、局所的一致性の事前知識を統合することで改善の可能性を示唆すること。

提案手法

• 本論文は、スパース表現ベースの画像融合の理論的考察を、3つのコアな構成要素（スパース表現モデル、辞書学習手法、アクティビティレベルと融合ルール）の分析を通じて実施している。
• 従来のSRモデルと、ASR、GSR、NNSR、JSR、RSRなどの高度な変種を比較し、異なる融合タスクにおける適性を評価している。
• 辞書学習は、固定基底（例：DCT）、トレーニングセットから学習されたグローバル辞書、入力画像から自己適応的に学習する辞書に分類され、性能比較が提供されている。
• 融合ルールは、表現係数の$l_0$-ノルム、$l_1$-ノルム、$l_2$-ノルムに基づくアクティビティレベルで定義され、最大選択ルールをベースラインとして用いている。
• パッチベースの融合戦略が採用されており、スライディングウインドウ技術により不整合の影響を軽減しているが、計算負荷の増加を伴う。
• 実験は、標準的な品質指標（MI、$Q_G$、$Q_S$、$Q_{ZP}$、$Q_{PC}$）を用いて、マルチフォーカスおよび赤外線可視光画像融合データセットで実施され、各構成要素の影響が評価されている。

実験結果

リサーチクエスチョン

• RQ1 マルチフォーカスおよびマルチモダリティ画像融合において、異なるスパース表現モデル（例：従来のSR、GSR、RSR）は、融合性能にどのように影響を与えるか？
• RQ2 固定基底辞書と学習された辞書（グローバルまたは自己適応的）の相対的な性能は、SRベースの画像融合においてどう異なるか？
• RQ3 画像融合アプリケーションの種類に応じて、$l_0$-ノルム、$l_1$-ノルム、$l_2$-ノルムのうち、どのアクティビティレベル測定が最良の融合結果をもたらすか？
• RQ4 融合ルールおよび表現モデルの選択が、不整合や空間アーチファクトに対するロバストネスにどのように影響を与えるか？
• RQ5 スライディングウインドウ技術を用いたパッチベースのSR融合において、計算複雑性と融合品質のトレードオフはどのようなものか？

主な発見

• $l_1$-ノルムは、マルチフォーカスおよびマルチモダリティ画像融合の両方において、$l_0$-ノルムおよび$l_2$-ノルムを常に上回り、MI、$Q_G$、$Q_S$、$Q_{ZP}$、$Q_{PC}$の指標で高いスコアを達成している。
• マルチフォーカス画像では、$l_1$-ノルムが平均MI 4.1267および$Q_G$ 0.7584を達成し、$l_0$-ノルム（MI: 4.5006、$Q_G$: 0.7098）および$l_2$-ノルム（MI: 4.0761、$Q_G$: 0.7557）を顕著に上回った。
• 赤外線可視光画像融合では、$l_1$-ノルムがMI = 2.3239および$Q_G$ = 0.6192を達成し、$l_0$-ノルム（MI: 2.9882、$Q_G$: 0.5826）および$l_2$-ノルム（MI: 2.3390、$Q_G$: 0.6135）を上回った。
• GSR（グループスパース表現）は、マルチフォーカスおよびマルチモダリティ融合タスクの両方で、従来のSRよりも優れた融合性能を達成する傾向にある。
• 自己適応的に学習された辞書およびグローバルに学習された辞書は、固定基底辞書（例：DCT）を上回り、学習された辞書はより安定的で意味のある画像表現を可能にしている。
• 本研究では、パッチベースのSR融合が不整合への感受性を低減する一方で、計算コストの増加と重複ウィンドウによる情報損失のリスクがあることが判明した。これにより、スパースコーディングの過程で局所的一致性の事前知識を統合する必要があると示唆された。