[論文レビュー] Hyperspectral Super-Resolution via Coupled Tensor Ring Factorization

Wei He, Yong Chen+3 more|arXiv (Cornell University)|Jan 6, 2020

Advanced Image Fusion Techniques参考文献 48被引用数 7

ひとこと要約

本論文は、低分解能のハイパースペクトル画像（HSI）および高分解能のマルチスペクトル画像（MSI）入力から高分解能のハイパースペクトル画像（HR-HSI）を同時に再構成するための、結合型テンソルリング因子分解（CTRF）モデルを提案する。テンソルリング分解を活用することで、スペクトルおよび空間次元における低ランク性を効果的に活用し、スペクトルノルム正則化を導入することで、学習データを必要とせずに最先端の性能を達成した。定量的および視覚的評価において、行列／テンソル手法およびディープラーニングモデルを上回った。

ABSTRACT

Hyperspectral super-resolution (HSR) fuses a low-resolution hyperspectral image (HSI) and a high-resolution multispectral image (MSI) to obtain a high-resolution HSI (HR-HSI). In this paper, we propose a new model, named coupled tensor ring factorization (CTRF), for HSR. The proposed CTRF approach simultaneously learns high spectral resolution core tensor from the HSI and high spatial resolution core tensors from the MSI, and reconstructs the HR-HSI via tensor ring (TR) representation (Figure~ ef{fig:framework}). The CTRF model can separately exploit the low-rank property of each class (Section ef{sec:analysis}), which has been never explored in the previous coupled tensor model. Meanwhile, it inherits the simple representation of coupled matrix/CP factorization and flexible low-rank exploration of coupled Tucker factorization. Guided by Theorem~ ef{th:1}, we further propose a spectral nuclear norm regularization to explore the global spectral low-rank property. The experiments have demonstrated the advantage of the proposed nuclear norm regularized CTRF (NCTRF) as compared to previous matrix/tensor and deep learning methods.

研究の動機と目的

• 学習データを必要とせずに、低分解能のハイパースペクトル画像（HSI）および高分解能のマルチスペクトル画像（MSI）から高分解能のハイパースペクトル画像（HR-HSI）を生成する課題に対処すること。
• HSIにおける空間的・スペクトル的相関性および低ランク構造を十分に活用できない既存の行列およびテンソル因子分解モデルの限界を克服すること。
• テンソルリング分解を用いて、スペクトルおよび空間の低ランク性を別々にモデル化する、新たな結合型テンソルリング因子分解（CTRF）モデルを構築すること。
• HR-HSIのグローバルなスペクトル低ランク構造を活用するため、3番目のTRコアにスペクトルノルム正則化を導入し、再構成精度を向上させること。
• CTRFおよびノルム正則化付きNCTRFモデルのための効率的な逐次最適化アルゴリズムを提供し、実用的応用を確保すること。

提案手法

• 本手法は、HR-HSIおよびMSIを、次々に3次元コアテンソルに分解するテンソルリング（TR）因子分解を用い、次元全体にわたる柔軟な低ランクモデリングを可能にする。
• HSIから高スペクトル分解能のコアテンソルを、MSIから高空間分解能のコアテンソルを同時に学習できる、結合型テンソルリング因子分解（CTRF）モデルを提案する。
• HSIおよびMSIそれぞれに独立してTR因子分解を適用することで、異なるHSIクラスの低ランク性を活用し、表現の忠実性を向上させる。
• HR-HSIのグローバルなスペクトル低ランク構造を束縛するため、定理2で示されたように、モード2のアンフォールディングに沿った3番目のTRコアテンソルに、新規のスペクトルノルム正則化を適用する。
• CTRFおよびNCTRFモデルの最適化を実現するための効率的な逐次反復アルゴリズムを開発し、収束性および計算効率を保証する。
• 高分解能コアテンソルをテンソルリング積演算によって再構成することで、HR-HSIの再構成を達成する。

実験結果

リサーチクエスチョン

• RQ1 結合型テンソルリング因子分解モデルは、ハイパースペクトルスーパーレゾリューションにおいて、空間的およびスペクトル的低ランク構造を効果的に活用できるか？
• RQ2 3番目のTRコアに適用されたノルム正則化は、HR-HSI再構成におけるグローバルなスペクトル低ランク構造の活用をどのように向上させるか？
• RQ3 CTRFに基づく手法は、学習データを必要としないにもかかわらず、既存の行列／テンソル因子分解およびディープラーニングモデルを上回る性能を発揮するか？
• RQ4 ベンチマークデータセットにおいて、PSNR、RMSE、SSIMの観点から、本手法は最先端の手法を上回る再構成品質を達成できるか？
• RQ5 視覚的評価では、特に真値と比較して、細かい空間的およびスペクトル的詳細をどれほど効果的に保持できるか？

主な発見

• 提案されたNCTRF手法は、CAVE BalloonsデータセットでPSNR 41.51 dBを達成し、次に優れた手法（MHF-net：40.49 dB）およびuSDN（37.78 dB）を上回った。
• CAVE Toyデータセットでは、NCTRFがPSNR 38.42 dBを達成し、MHF-net（36.10 dB）およびuSDN（33.94 dB）を上回り、優れた定量的性能を示した。
• NCTRFは、CAVE BalloonsでRMSE 2.49、CAVE ToyでRMSE 3.88を達成し、比較手法よりも高い再構成精度を示した。
• 図7の視覚的比較では、NCTRFが差分画像をゼロに最も近づける結果をもたらし、誤差が最小限で、空間的およびスペクトル的詳細の保持が優れていた。
• NCTRFは、Balloonsで0.979、Toyで0.944の高いSSIM値を達成し、多数のベースラインを上回り、真値との構造的類似性が優れていることを確認した。
• NCTRFモデルは、学習データを一切必要としないにもかかわらず、MHF-net や uSDN といったディープラーニング手法を上回り、実世界の教師なし応用における優位性を示した。