[論文レビュー] Non-local Meets Global: An Iterative Paradigm for Hyperspectral Image Restoration

Wei He, Quanming Yao+5 more|arXiv (Cornell University)|Oct 24, 2020

Image and Signal Denoising Methods参考文献 88被引用数 22

ひとこと要約

本稿では、低次元化された画像のノイズ除去に共通する直交基底を学習することで、非局所的空間的類似性とグローバルなスペクトル低ランク構造を統合する、新しい反復的ハイパースペクトル画像（HSI）修復フレームワークであるNGmeetを提案する。非局所的低ランクノイズ除去とランク適応を繰り返し行い、潜在的画像推定と基底最適化を交互に最適化することで、従来の非局所的低ランク手法と比較して著しく計算コストを低減しながら、ノイズ除去、圧縮再構成、穴埋めの各タスクで最先端の性能を達成する。

ABSTRACT

Non-local low-rank tensor approximation has been developed as a state-of-the-art method for hyperspectral image (HSI) restoration, which includes the tasks of denoising, compressed HSI reconstruction and inpainting. Unfortunately, while its restoration performance benefits from more spectral bands, its runtime also substantially increases. In this paper, we claim that the HSI lies in a global spectral low-rank subspace, and the spectral subspaces of each full band patch group should lie in this global low-rank subspace. This motivates us to propose a unified paradigm combining the spatial and spectral properties for HSI restoration. The proposed paradigm enjoys performance superiority from the non-local spatial denoising and light computation complexity from the low-rank orthogonal basis exploration. An efficient alternating minimization algorithm with rank adaptation is developed. It is done by first solving a fidelity term-related problem for the update of a latent input image, and then learning a low-dimensional orthogonal basis and the related reduced image from the latent input image. Subsequently, non-local low-rank denoising is developed to refine the reduced image and orthogonal basis iteratively. Finally, the experiments on HSI denoising, compressed reconstruction, and inpainting tasks, with both simulated and real datasets, demonstrate its superiority with respect to state-of-the-art HSI restoration methods.

研究の動機と目的

• ハイパースペクトル画像（HSI）修復における非局所的低ランクテンソル手法の高い計算コスト、特にスペクトル次元が増加する際の課題に対処すること。
• HSIのグローバルなスペクトル低ランク性を活用すること。ここで、全バンドのピクセル群は共通の低次元スペクトル部分空間に存在する。
• 複数のHSI修復タスクに適応可能な、統合的で効率的なパラダイムを構築すること。このパラダイムは空間的非局所的類似性とスペクトル低ランク正則化を統合する。
• 最先端の手法と同等またはそれ以上の修復性能を維持しながら、ノイズ除去、圧縮再構成、穴埋めの各タスクにおける実行時間を短縮すること。

提案手法

• HSIを低次元部分空間に射影するためのグローバルスペクトル直交基底を学習することで、計算を効率化する。
• 潜在入力画像、スペクトル基底、および低次元画像を同時に最適化するため、交互最小化アルゴリズムを用いる。
• 非局所的低ランクノイズ除去を、ピクセルの局所的自己類似性を活用して低次元画像と基底に対して反復的に適用する。
• 反復の過程で動的にランクを適応させることで、精度と収束性を向上させる。
• 統一された最適化スキームを用いて、ノイズ除去、圧縮HSI再構成、穴埋めの3つのタスクにフレームワークを適用する。
• 非局所ステージではWNNMをノイズ除去器として用いるが、本手法は他の先進的なノイズ除去器とも互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 非局所的低ランクHSI修復における計算負担を軽減するために、グローバルスペクトル低ランク構造を効果的に活用できるか？
• RQ2 非局所的空間的類似性とグローバルスペクトル低ランク特性を統合的にモデル化することで、HSI修復の性能を向上させられるか？
• RQ3 交互最適化とランク適応を組み合わせた反復的パラダイムは、既存手法と比較してより優れた性能とより速い収束を達成できるか？
• RQ4 タスク固有の学習データを必要とせず、深層学習ベースの手法を上回る性能を発揮できるか？

主な発見

• NGmeetは、模擬的および実測HSIデータセットの両方で、ノイズ除去、圧縮再構成、穴埋めの各タスクにおいて最先端の性能を達成した。
• 10バンドのCAVEデータセットにおいて、NGmeet_V1（10バンド版）はHSI-DeNetを上回り、PSNR 43.03 dBを達成した（HSI-DeNetは別データセットで学習済みでPSNR 38.45 dB）。
• 全300バンドを用いた場合、CAVEデータセットでNGmeetはPSNR 45.01 dBを達成し、WNNM（43.17 dB）およびWSNM（43.44 dB）を大きく上回った。
• NGmeetの計算時間は、スペクトルバンド数の増加に伴いほとんど変化しないが、KBRやLLRTは著しい実行時間の増加を示し、優れたスケーラビリティを示した。
• WDCデータセットにおいて、異なるノイズレベルの下で、NGmeetは10～20イテレーションで安定したPSNR値に収束した。
• WSNMをノイズ除去器として用いることで、WNNMを用いた場合よりもわずかに優れた結果が得られた。これは、フレームワークがノイズ除去アルゴリズムの選択に対して頑健であることを示している。