[論文レビュー] Spatio-Spectral Structure Tensor Total Variation for Hyperspectral Image Denoising and Destriping

Shingo Takemoto, Naganuma, Kazuki+1 more|arXiv (Cornell University)|Apr 4, 2024

Image and Signal Denoising Methods被引用数 15

ひとこと要約

本稿では、2次元の空間的・スペクトル的構造テンソルの核ノルムを用いて、半局所的な空間的構造とスペクトル相関をモデル化することにより、エッジおよびテクスチャの保存を向上させる、ハイパースペクトル画像のノイズ除去およびストライプ除去のための新しい正則化手法、Spatio-Spectral Structure Tensor Total Variation (S3TTV) を提案する。S3TTV は、プリコンディショニング付きプライマル・デュアル分割法を用いることで計算効率を維持しながら、シミュレート済みおよび実世界の実験において、最先端の手法を上回るノイズ抑制性能と構造的忠実性を示した。

ABSTRACT

This paper proposes a novel regularization method, named Spatio-Spectral Structure Tensor Total Variation (S3TTV), for denoising and destriping of hyperspectral (HS) images. HS images are inevitably contaminated by various types of noise, during acquisition process, due to the measurement equipment and the environment. For HS image denoising and destriping tasks, Spatio-Spectral Total Variation (SSTV) is widely known as a powerful regularization approach that models the spatio-spectral piecewise smoothness. However, since SSTV refers only to the local differences of pixels/bands, edges and textures that extend beyond adjacent pixels are not preserved during denoising process. To address this problem, we newly introduce S3TTV, which is designed to preserve two essential physical characteristics of HS images: semi-local spatial structures and spectral correlation across all bands. Specifically, we define S3TTV as the sum of the nuclear norms of spatio-spectral structure tensors, which are matrices formed by arranging second-order spatio-spectral difference vectors within semi-local areas. Furthermore, we formulate the HS image denoising and destriping problem as a constrained convex optimization problem involving S3TTV and develop an algorithm based on a preconditioned primal-dual splitting method to solve this problem efficiently. Finally, we demonstrate the effectiveness of S3TTV by comparing it with existing methods, including state-of-the-art ones through denoising and destriping experiments.

研究の動機と目的

• ハイパースペクトル（HS）画像において、隣接ピクセルを越えて広がるエッジやテクスチャを、従来のTVベースの手法が適切に保存できないという限界に対処すること。
• 1次差分と局所的正則化による過剰な平滑化およびエッジの損傷を是正すること。
• 半局所的な空間的構造認識とスペクトル相関モデリングを、総変動フレームワークに統合し、より優れたノイズ除去およびストライプ除去を実現すること。
• S3TTV正則化を含む制約付き凸最適化問題を効率的に解く最適化アルゴリズムの開発

提案手法

• S3TTV は、半局所的な空間的およびスペクトル的ブロック内における2次差分から形成される空間的・スペクトル的構造テンソルの核ノルムの総和として定義される。
• 本手法は、2次差分を用いて隣接ピクセルおよびバンド間の局所的変動を捉えることで、空間的・スペクトル的区分的滑らかさをモデル化する。
• 2次差分による空間的およびスペクトル的差分から構築された構造テンソルにより、拡張されたテクスチャおよびエッジの保存が可能となる。
• S3TTV正則化を含む凸最適化問題を効率的に解くために、プリコンディショニング付きプライマル・デュアル分割（P-PDS）アルゴリズムが開発された。
• 差分行列における低ランク構造を促進することで、スペクトル相関を組み込み、グローバルなスペクトル整合性を向上させる。
• 本手法は、データ適合性とS3TTV正則化のバランスを取ることで、クリーンなHS画像の復元を目指す制約付き凸最適化問題として定式化される。

実験結果

リサーチクエスチョン

• RQ1 2次差分は、1次差分よりも、ノイズとクリーンなHS画像構造をより明確に区別できるか？
• RQ2 半局所的な空間的構造認識を組み込むことで、HS画像のノイズ除去におけるエッジおよびテクスチャの保存が向上するか？
• RQ3 構造テンソルの核ノルムによるスペクトル相関モデリングは、ぼかしを引き起こさずにノイズ除去性能を向上させられるか？
• RQ4 S3TTV は、シミュレート済みおよび実世界のHSデータにおいて、PSNR、SSIM、および視覚的品質の観点から、最先端の手法と比較してどのように差をつけるか？
• RQ5 実用的な状況において、ブロックサイズおよびペナルティパラメータ ρ の最適な設定は何か？

主な発見

• S3TTV は、テストされたすべてのデータセットで最高の平均PSNR（MPSNR）および平均SSIM（MSSIM）を達成し、最先端の深層学習（DNN）および正則化ベースのアプローチを含むすべてのベースライン手法を上回った。
• Jasper Ridge データセットでは、S3TTV は MPSNR 38.12 dB、MSSIM 0.987 を達成し、2番目に優れた手法（QRNN3D）と比較してPSNRで0.6 dB優れていた。
• Pavia University および Beltsville データセットからの実世界データでは、S3TTV は優れた性能を維持し、実際のノイズパターンに対しても頑健であることが示された。
• アブレーションスタディの結果、2次差分は1次差分よりも、ノイズとクリーンな画像構造の区別に優れていることが確認された。
• 収束解析では、S3TTV が100イテレーション以内に安定化し、目的関数および画像品質指標（PSNR、SSIM）が単調に改善された。
• 他の構造テンソルベースの手法と比較して、計算効率に優れており、Jasper Ridge、Pavia University、Beltsville それぞれで 1.37×10⁴、2.05×10⁴、1.74×10⁴ 秒の実行時間を記録した。STV や SSST よりも高速でありながら、高い正確性を維持していた。