[論文レビュー] Unsupervised Sparse Dirichlet-Net for Hyperspectral Image Super-Resolution

Ying Qu, Hairong Qi+1 more|arXiv (Cornell University)|Apr 13, 2018

Advanced Image Fusion Techniques参考文献 41被引用数 6

ひとこと要約

本稿では、高分解能(HR)HSIの教師ありデータを必要とせずに、低空間分解能のHSIと高空間分解能のMSIを融合する非教師付きスパースディリクレーネット(uSDN)を提案する。この手法は、表現にスパースディリクレ制約と角距離類似性損失を適用することで、スペクトルの忠実性を維持し、ベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

In many computer vision applications, obtaining images of high resolution in both the spatial and spectral domains are equally important. However, due to hardware limitations, one can only expect to acquire images of high resolution in either the spatial or spectral domains. This paper focuses on hyperspectral image super-resolution (HSI-SR), where a hyperspectral image (HSI) with low spatial resolution (LR) but high spectral resolution is fused with a multispectral image (MSI) with high spatial resolution (HR) but low spectral resolution to obtain HR HSI. Existing deep learning-based solutions are all supervised that would need a large training set and the availability of HR HSI, which is unrealistic. Here, we make the first attempt to solving the HSI-SR problem using an unsupervised encoder-decoder architecture that carries the following uniquenesses. First, it is composed of two encoder-decoder networks, coupled through a shared decoder, in order to preserve the rich spectral information from the HSI network. Second, the network encourages the representations from both modalities to follow a sparse Dirichlet distribution which naturally incorporates the two physical constraints of HSI and MSI. Third, the angular difference between representations are minimized in order to reduce the spectral distortion. We refer to the proposed architecture as unsupervised Sparse Dirichlet-Net, or uSDN. Extensive experimental results demonstrate the superior performance of uSDN as compared to the state-of-the-art.

研究の動機と目的

• 教師ありHSI-SR手法が大規模なHR HSIの教師データを必要とする現実的でない訓練データの欠如に対処する。
• 高空間分解能のMSIを用いて、低空間分解能のHSIのスペクトル情報を豊かに保ちながら空間分解能を向上させる。
• 異なるモダリティの表現間の角距離を最小化することで、再構成されたHR HSIにおけるスペクトル歪みを最小限に抑える。
• ペaired HR HSIデータや既知のダウンサンプリング関数に依存しない非教師付きフレームワークを開発する。
• センサ固有のマッピング関数が不明または変動する実世界の条件下でも、頑健なHSI-SRを実現する。

提案手法

• HSIとMSIのための別個のエンコーダを備えた共有デコーダアーキテクチャを採用し、モダリティ固有のスペクトル的および空間的特徴を保持しながら統合学習を可能にする。
• 両モダリティからの表現がスパースディリクレ分布に従うように制約を課し、HSIおよびMSIの物理的制約（合計が1で、スパースなベクトル）をモデル化する。
• 再構成損失と角距離類似性損失を組み合わせた新しい損失関数を採用し、HSIとMSIの表現間の角差を一致させることでスペクトル歪みを最小化する。
• HR HSIの教師データを一切必要とせず、LR HSIとHR MSIのペアのみを用いて非教師学習でネットワークを訓練する。
• 最適化プロセスには、スパarsityを制御する自由パラメータλとデコーダ重み正則化のためのμを含み、λはRMSEを最小化するように経験的に調整される。
• 線形スペクトルアンミキシングを仮定し、HR HSIおよびHR MSIは学習されたスペクトルベースと空間表現の線形結合として表現される。

実験結果

リサーチクエスチョン

• RQ1 ペアドHR HSI教師データを必要としない非教師付き深層学習フレームワークは、HSI-SRを効果的に実行できるか？
• RQ2 低空間分解能のHSIと高空間分解能のMSIを融合する際、再構成されたHR HSIにおけるスペクトル忠実性をどのように維持できるか？
• RQ3 特徴表現にスパースディリクレ制約を課すことで、再構成品質が向上し、スペクトル歪みがどの程度低減されるか？
• RQ4 HSIとMSIの表現間の角距離類似性損失は、収束性およびスペクトル正確性にどのような影響を及えるか？
• RQ5 スパarsityおよび合計が1の制約は、学習された空間表現およびスペクトルベースにどのような影響を及えるか？

主な発見

• uSDNはCAVEおよびWHUハイパースペクトルデータセットで最先端の性能を達成し、RMSEおよびSAM指標において、既存の教師ありおよび非教師あり手法を上回る。
• アブレーションスタディにより、スパースディリクレ制約と角距離類似性損失を併用することで、RMSEが最小化され、収束速度も速くなることが確認され、訓練が進むにつれてRMSEが顕著に低下する。
• ヒストグラム解析により、学習された空間表現S_mが明確なスパarsityを示しており、モデルの設計がコンactかつ意味のある特徴符号化を可能としていることを裏付けた。
• uSDNが学習したスペクトルベースΦ_hはデータ分布を効果的にカバーしており、CSUおよびBSRを上回り、スペクトル変動の全範囲を捉える能力に優れている。
• モデルは滑らかに収束し、10イテレーションごとに角差を最小化するため、MSIネットワークでのわずかなフラクチュエーションしか生じない。
• 最適なλ値は1×10⁻⁶であり、これは最適化プロセスにおける適切なスパarsity制御の重要性を示している。