[論文レビュー] FastHyMix: Fast and Parameter-free Hyperspectral Image Mixed Noise Removal

Lina Zhuang, Michael K. Ng|arXiv (Cornell University)|Sep 18, 2021

Image and Signal Denoising Methods参考文献 56被引用数 5

ひとこと要約

FastHyMixは、混合ノイズをガウス・ミックス・モデル（GMM）でモデル化し、低ランク性と空間相関性を部分空間表現とディープ・イメージ・プライアによって活用することで、ハイパースペクトル画像の混合ノイズ除去のための高速でパラメータフリーな手法を提案する。実験では、合成および実世界のデータセットにおいて、顕著な高速化を実現しながら最先端の性能を達成し、優れたノイズ除去精度と効率性を示した。

ABSTRACT

Hyperspectral imaging with high spectral resolution plays an important role in finding objects, identifying materials, or detecting processes. The decrease of the widths of spectral bands leads to a decrease in the signal-to-noise ratio (SNR) of measurements. The decreased SNR reduces the reliability of measured features or information extracted from HSIs. Furthermore, the image degradations linked with various mechanisms also result in different types of noise, such as Gaussian noise, impulse noise, deadlines, and stripes. This paper introduces a fast and parameter-free hyperspectral image mixed noise removal method (termed FastHyMix), which characterizes the complex distribution of mixed noise by using a Gaussian mixture model and exploits two main characteristics of hyperspectral data, namely low-rankness in the spectral domain and high correlation in the spatial domain. The Gaussian mixture model enables us to make a good estimation of Gaussian noise intensity and the location of sparse noise. The proposed method takes advantage of the low-rankness using subspace representation and the spatial correlation of HSIs by adding a powerful deep image prior, which is extracted from a neural denoising network. An exhaustive array of experiments and comparisons with state-of-the-art denoisers were carried out. The experimental results show significant improvement in both synthetic and real datasets. A MATLAB demo of this work will be available at https://github.com/LinaZhuang for the sake of reproducibility.

研究の動機と目的

• ガウス、インパルス、ストライプノイズを含む複合ノイズの影響により劣化するハイパースペクトル画像（HSI）の問題に対処し、信号対ノイズ比を低下させ、その後続の解析を損なう要因となること。
• 正則化パrameterの手動チューニングを必要とする既存手法の限界や、非ガウス分布の複雑なノイズを堅牢に処理できない問題を克服すること。
• ユーザーの干渉なしにノイズ特性に自動的に適応する、使いやすいパラメータフリーなノイズ除去フレームワークを開発すること。
• HSIの2つの主要な構造的性質であるスペクトルドメインにおける低ランク性と高い空間相関性を同時に活用し、ノイズ除去性能を向上させること。
• 高いノイズ除去精度と高速な計算を両立させ、実世界のHSI応用に実用的であることを目指すこと。

提案手法

• 複雑なノイズ分布を普遍的に近似可能なガウス・ミックス・モデル（GMM）を用いて混合ノイズをモデル化し、バンド単位のガウスノイズ分散とスパースノイズの位置を正確に推定可能にする。
• 部分空間表現を用いてスペクトルの低ランク性を活用し、綺麗なHSIが低次元部分空間に近似できることを活かして、グローバルなノイズ成分を抑制する。
• 事前学習済みのニューラル・ノイズ除去ネットワークから抽出したディープ・イメージ・プライアを用いて空間相関性を統合し、空間的構造の保持を強力な正則化子として機能させる。
• GMMによるノイズ推定と低ランク性、ディープ・イメージ・プライアのコンponentを、閉形式解が不要なプラグアンドプレイフレームワークに統合し、効率的な最適化を可能にする。
• 非凸かつ非滑らかである最小化問題を、交替方向乗数法（ADMM）や類似の最適化スキームを用いて解き、観測値への忠実性と構造的プライアのバランスを取る。
• GMMから推定されたノイズ統計に基づいて正則化パrameterを自動的に設定し、手動チューニングの必要性を排除することで、ユーザーフレンドリーな設計を実現する。

実験結果

リサーチクエスチョン

• RQ1 ガウス・ミックス・モデルは、ハイパースペクトル画像における複雑で不均一な混合ノイズ（ガウス、インパルス、ストライプ）の分布を効果的に捉えることができるか？
• RQ2 手作業で設計されたプライアに依存せずに、スペクトルの低ランク性と空間相関性をどのように統合的に活用し、ノイズ除去性能を向上させることができるか？
• RQ3 ニューラル・ノイズ除去ネットワークから抽出したディープ・イメージ・プライアは、HSIの空間的構造を効果的に正則化し、微細なディテールを保持できるか？
• RQ4 提案手法は、最小限の計算コストとユーザー定義パラメータなしに、最先端のノイズ除去性能をどの程度達成できるか？
• RQ5 合成および実世界のHSIデータセットにおいて、FastHyMixは既存の最先端手法と比べて、精度と速度の両面でどのように差をつけることができるか？

主な発見

• FastHyMixは、すべてのテスト対象の合成および実世界データセットで、平均PSNRおよびMPSNRの最高値を達成し、NG-meet、LRMR、NonRLRS、KBR、NMoG、LRTF-DFRといった最先端手法を上回った。
• Pavia Universityデータセット（例：U(0.05, 0.10)ガウスノイズ、30％のストライプ影響バンド）において、FastHyMixはMPSNR 38.21 dBを達成し、2番目に優れた手法（36.98 dB）を顕著に上回った。
• 実世界の実験では、FastHyMixはTiangong-1およびHyperion Cupriteデータセットをわずか7秒で復元し、次に速い手法（LRTF-DFR：58秒）を上回り、目立つアーティファクトや誤った照明を完全に除去した。
• Hyperion Cupriteデータセットのバンド132、134、138では、他の手法が残存ストライプを残したが、FastHyMixは視覚的にクリアな結果を生成した。
• FastHyMixは、最小値、ランダム値、最大値のストライプノイズを含む多様なノイズ設定においても、一貫した性能向上を示し、強力なロバストネスを示した。
• GMMによるノイズ推定に基づく適応的正則化に依存するパラメータフリー設計により、手動チューニングの必要性が排除され、実用応用における使いやすさが向上した。