[論文レビュー] Infrared and visible image fusion using Latent Low-Rank Representation

Hui Li, Xiao‐Jun Wu|arXiv (Cornell University)|Apr 24, 2018

Advanced Image Fusion Techniques参考文献 31被引用数 126

ひとこと要約

この論文は、潜在的低秩表現（LatLRR）に基づく融合手法を提案し、赤外画像と可視画像を低秩（グローバル）成分と顕在（局所）成分に分解して異なる戦略で融合し、融合画像を再構成する。これにより、いくつかの最先端手法と比較して性能が向上することを示す。

ABSTRACT

Infrared and visible image fusion is an important problem in the field of image fusion which has been applied widely in many fields. To better preserve the useful information from source images, in this paper, we propose a novel image fusion method based on latent low-rank representation(LatLRR) which is simple and effective. Firstly, the source images are decomposed into low-rank parts(global structure) and salient parts(local structure) by LatLRR. Then, the low-rank parts are fused by weighted-average strategy to preserve more contour information. Then, the salient parts are simply fused by sum strategy which is a efficient operation in this fusion framework. Finally, the fused image is obtained by combining the fused low-rank part and the fused salient part. Compared with other fusion methods experimentally, the proposed method has better fusion performance than state-of-the-art fusion methods in both subjective and objective evaluation. The Code of our fusion method is available at https://github.com/hli1221/imagefusion\_Infrared\_visible\_latlrr

研究の動機と目的

• 赤外/可視融合におけるグローバル情報と局所情報のより良い保持を動機づける。
• ソース画像をLatLRRで低秩部分と顕在部分に分解する。
• 低秩部分は加重平均戦略で、顕在部分は和の戦略で融合する。
• 融合した低秩成分と顕在成分を合計して最終融合画像を再構成する。
• 主観・客観指標を用いて、いくつかのベースラインと比較評価を行う。

提案手法

• 各ソース画像をLatLRRを用いて低秩成分（グローバル構造）と顕在成分（局所構造）に分解する。
• 低秩成分を加重平均スキームで融合する（重み = 0.5 および 0.5）。
• 顕在成分を単純な和の戦略で融合する（重み = 1 および 1）。
• 融合した低秩成分と顕在成分を足し合わせて最終融合画像を再構成する。

実験結果

リサーチクエスチョン

• RQ1 LatLRRベースの分解は赤外/可視融合においてグローバル構造と局所構造の両方を保持できるのか。
• RQ2 低秩成分と顕在成分それぞれに異なる融合戦略を用いると、単一戦略法より融合品質が向上するのか。
• RQ3 LatLRRベースの融合法は、客観指標と視覚品質の点で最先端の融合法と比較してどの程度の性能を示すのか？

主な発見

方法	Qabf	SCD	SSIM_a	N_abf
CBF [6]	0.43961	1.38963	0.59957	0.31727
DCHWT [5]	0.46592	1.60993	0.73132	0.12295
JSR [32]	0.32306	1.59136	0.54073	0.34712
JSRSD [12]	0.32281	1.59124	0.54127	0.34657
GTF [21]	0.41037	1.00488	0.70016	0.07951
CSR [16]	0.53485	1.64823	0.75330	0.01958
CNN [15]	0.28789	1.48060	0.71109	0.02324
Proposed	0.41277	1.70699	0.76486	0.01596

• 提案手法は、複数のベースラインよりも21組の画像ペアで客観指標（SCD, SSIM_a）を改善し、欠陥（N_abf）を低減する。
• 主観的には、融合結果は競合法と比較して特徴やディテールをより多く保持し、アーティファクトが少ない。
• 定量的結果は、提案手法がSCD、SSIM_a、N_abfの値で最良を示す。
• 本手法は、構造と明るさ情報を保持した自然な見た目の融合を提供する。