[論文レビュー] Super-resolution reconstruction of hyperspectral images via low rank tensor modeling and total variation regularization

Shiying He, Haiwei Zhou+3 more|arXiv (Cornell University)|Jan 23, 2016

Advanced Image Fusion Techniques参考文献 2被引用数 3

ひとこと要約

本稿では、低ランクテンソルモデリングと3次元全 variation 正則化を用いたハイパースペクトル画像のスーパーキャラクタリゼーション手法を提案する。本手法は、グローバルな空間的・スペクトル的相関と局所的な滑らかさを活用する。低ランク近似にテンソル核ノルムと折りたたみ凸（MCP）ペナルティを組み合わせ、スパarsityに3次元TVを適用し、LLA-ADMMを用いて最適化することで、AVIRISデータ上でのPSNR、SAM、ERGAS指標において核ノルムを上回るMCPの優位性を示し、優れた再構成品質を達成する。

ABSTRACT

In this paper, we propose a novel approach to hyperspectral image super-resolution by modeling the global spatial-and-spectral correlation and local smoothness properties over hyperspectral images. Specifically, we utilize the tensor nuclear norm and tensor folded-concave penalty functions to describe the global spatial-and-spectral correlation hidden in hyperspectral images, and 3D total variation (TV) to characterize the local spatial-and-spectral smoothness across all hyperspectral bands. Then, we develop an efficient algorithm for solving the resulting optimization problem by combing the local linear approximation (LLA) strategy and alternative direction method of multipliers (ADMM). Experimental results on one hyperspectral image dataset illustrate the merits of the proposed approach.

研究の動機と目的

• ハードウェアおよびSNR制限によるハイパースペクトル画像（HSI）の低空間的分解能という課題に対処する。
• 補助的な高分解能（HR）画像を必要とせず、1つの低分解能（LR）観測から高分解能（HR）HSIを再構成する。
• テンソルベースの低ランク制約を用いて、グローバルな空間的およびスペクトル的相関をモデル化する。
• 3次元全 variation（TV）正則化を用いて、空間的およびスペクトル的次元における局所的滑らかさを捉える。
• 非凸かつ構造化された正則化問題を解くための効率的な最適化フレームワークを開発する。

提案手法

• マルチモーダル構造を保持するため、幅、高さ、スペクトルバンドの次元を持つ3次元テンソルとしてハイパースペクトル画像をモデル化する。
• 全3モードにわたる低ランク構造を強制するために、テンソル核ノルムと折りたたみ凸（MCP）ペナルティを適用し、グローバルな空間的・スペクトル的相関を捉える。
• 隣接ボクセル間の絶対差の和として定義される、空間的およびスペクトル的次元における局所的滑らかさを促進する3次元全 variation（TV）正則化を用いる。
• データ適合性（LSQ）と正則化項の和を最小化する制約付き最適化問題としてスーパーキャラクタリゼーション問題を定式化する。核ノルムとMCPを低ランクに、3次元TVをスパarsityに用いる。
• 非凸なMCPペナルティを扱うために、局所線形近似（LLA）を組み合わせた、交替方向乗数法（ADMM）フレームワークを用いて非凸最適化を解く。
• 問題を部分問題に分解する：HRテンソルの更新、特異値しきい値処理（核ノルムの場合）または重み付き特異値ソフトしきい値処理（MCPの場合）による低ランク制約の強制、および双対変数の更新。

実験結果

リサーチクエスチョン

• RQ1 低ランクテンソルモデリングは、スーパーキャラクタリゼーションのためのハイパースペクトル画像におけるグローバルな空間的・スペクトル的相関を効果的に捉えることができるか？
• RQ2 3次元全 variation 正則化を組み込むことで、再構成されたHSIにおける局所的滑らかさが向上し、細かな空間的ディテールが保持されるか？
• RQ3 低ランク構造のモデリングにおいて、凸的核ノルムと比較して折りたたみ凸ペナルティ（MCP）はどのように性能を発揮するか？
• RQ4 LLA-ADMMフレームワークは、混合テンソルノルムと3次元TVを含む非凸最適化問題を効率的に解くことができるか？
• RQ5 提案手法は、視覚的品質および定量的指標の両面で、従来の補間法および既存の最先端手法を上回るか？

主な発見

• MCPペナルティを用いた本手法は、AVIRISデータセット上で最高のPSNR（37.8732）を達成し、バイキュービック（33.0236）、NARM（33.1197）、スパース表現（35.7409）を顕著に上回る。
• MCPベースの手法は、最低のSAM（0.0720）とERGAS（88.5562）を達成し、優れたスペクトル忠実度と低減したグローバル合成誤差を示している。
• 折りたたみ凸ペナルティ（MCP）は、すべての指標において凸的核ノルムを一貫して上回り、低ランク近似におけるモデル化バイアスの低減を示している。
• 視覚的結果から、本手法はバイキュービックおよび他の競合手法と比較して、特にバンド100において細かな空間的ディテールやエッジをよりよく保持している。
• LLA-ADMMアルゴリズムは安定的かつ効率的に収束し、テンソルベースのHSIスーパーキャラクタリゼーションにおける非凸正則化の実用的応用を可能にしている。
• テンソル核ノルムと3次元TV正則化の組み合わせは、これらのプライオリティのいずれかを単独で用いた手法よりも、より優れた再構成品質をもたらしている。