[論文レビュー] Multi-focus Noisy Image Fusion using Low-Rank Representation

Hui Li, Xiao‐Jun Wu+1 more|arXiv (Cornell University)|Apr 25, 2018

Advanced Image Fusion Techniques参考文献 27被引用数 16

ひとこと要約

本稿では、ノイジィな入力画像を処理するために低ランク表現（LRR）を用いた新しいマルチフォーカス画像融合手法を提案する。この手法は、離散ウェーブレット変換（DWT）フレームワークにLRRを統合し、空間周波数と選択最大化戦略を用いて低周波数係数を融合し、高周波数係数をLRRで融合することで、特に高ノイズレベル下でも最先端の性能を達成する。

ABSTRACT

Multi-focus noisy image fusion represents an important task in the field of image fusion which generates a single, clear and focused image from all source images. In this paper, we propose a novel multi-focus noisy image fusion method based on low-rank representation (LRR) which is a powerful tool in representation learning. A multi-scale transform framework is adopted in which source images are decomposed into low frequency and high frequency coefficients, respectively. For low frequency coefficients, the fused low frequency coefficients are determined by a spatial frequency strategy, while the high frequency coefficients are fused by the LRR-based fusion strategy. Finally, the fused image is reconstructed by inverse multi-scale transforms with fused coefficients. Experimental results demonstrate that the proposed algorithm offers state-of-the-art performance even when the source images contain noise. The Code of our fusion method is available at https://github.com/hli1221/imagefusion_noisy_lrr

研究の動機と目的

• マルチフォーカスノイズ画像のための真正に適応的な融合手法の不足を解消すること。
• 画像融合における低ランク表現（LRR）のノイズ耐性を活用すること。
• ガウスノイズ、ソルトアンドペッパー、ポissonノイズが混在する入力画像において、融合性能を向上させること。
• ノイズを効果的に処理しつつ、グローバルな画像構造を保持する手法を開発すること。
• ノイズ環境下で、従来の表現学習および非表現学習ベースの融合手法を上回ること。

提案手法

• 本手法は、離散ウェーブレット変換（DWT）を用いて入力画像を低周波数帯域および高周波数帯域に分解する。
• 低周波数係数は、空間周波数と選択最大化戦略を用いて融合し、構造的コンテンツを保持する。
• 高周波数係数は、データのグローバル構造をモデル化でき、ノイズおよび外れ値に強い低ランク表現（LRR）を用いて融合する。
• LRRの最適化問題は、不正確な増大ラグランジュ乗数法（inexact Augmented Lagrange Multiplier, ALM）により解かれ、核ノルムとl2,1-ノルムを最小化することで、低ランク成分とノイズを分離する。
• 融合されたLRR係数に対して、選択最大化戦略を適用し、入力画像間で最も顕著な特徴を選択する。
• 融合された帯域係数を用いて逆方向DWTにより最終的な融合画像を再構築する。

実験結果

リサーチクエスチョン

• RQ1 低ランク表現（LRR）は、マルチフォーカス画像融合におけるノイズ処理に有効に機能するか？
• RQ2 さまざまなノイズレベル下で、LRRベースの融合は、CNN、SR、DWTなどの既存手法と比較してどのように差をつけるか？
• RQ3 入力画像がノイズで汚染されている状況下でも、本手法は最先端のアプローチと比較して、画像構造と詳細をよりよく保持できるか？
• RQ4 ガウスノイズ、ソルトアンドペッパー、ポissonノイズという異なるノイズタイプに対して、本手法の融合性能は一貫して優れているか？
• RQ5 DWTとLRRの組み合わせは、従来の非表現学習ベースの手法と比較して、より優れた融合品質を達成できるか？

主な発見

• ガウスノイズσ=0.001の条件下で、本手法は最高のSSIM値0.87428およびPSNR 30.99987を達成し、他のすべての手法を上回った。
• 高ノイズレベル（ガウスノイズσ=0.01）下では、PSNR 24.92995およびSSIM 0.64582を達成し、CNN（PSNR: 20.59205, SSIM: 0.42838）およびDWT（PSNR: 18.41309, SSIM: 0.35154）を著しく上回った。
• d=0.02のソルトアンドペッパーノイズ下では、PSNR 25.10640およびSSIM 0.69728を達成し、2番目に優れた手法（MLVGG）をPSNRで1.0 dB、SSIMで0.028上回った。
• ポissonノイズ下では、PSNR 29.28811およびSSIM 0.83724を達成し、2番目に優れた手法（MLVGG）をPSNRで0.5 dB、SSIMで0.043上回った。
• 高ノイズ環境下でも一貫した優位性を示し、RMSEおよびSSIM指標で最大の性能差が観察された。これにより、本手法のノイズ耐性が裏付けられた。
• 本手法は、すべてのノイズタイプにおいて優れた性能を維持しており、LRRが画像融合におけるノイズの影響を効果的に軽減できることを示している。