[論文レビュー] Hyperspectral Image Super-Resolution with Spectral Mixup and Heterogeneous Datasets

Ke Li, Dengxin Dai+2 more|arXiv (Cornell University)|Jan 19, 2021

Advanced Image Fusion Techniques参考文献 48被引用数 5

ひとこと要約

本論文は、RGB画像超解像を補助タスクとして用い、スペクトルミックスアップデータ増強と低解像度HSIのみの教師なし学習を統合した新規なハイパースペクトル画像超解像（HSI SR）手法を提案する。RGBとHSIデータを共同で学習し、スペクトルミックスアップを用いて仮想的な訓練サンプルを生成し、モデル間の一貫性を強制することで、4つのベンチマークデータセットで最先端の性能を達成し、著しく向上した耐障害性と汎用性を示した。

ABSTRACT

This work studies Hyperspectral image (HSI) super-resolution (SR). HSI SR is characterized by high-dimensional data and a limited amount of training examples. This exacerbates the undesirable behaviors of neural networks such as memorization and sensitivity to out-of-distribution samples. This work addresses these issues with three contributions. First, we observe that HSI SR and RGB image SR are correlated and develop a novel multi-tasking network to train them jointly so that the auxiliary task RGB image SR can provide additional supervision. Second, we propose a simple, yet effective data augmentation routine, termed Spectral Mixup, to construct effective virtual training samples to enlarge the training set. Finally, we extend the network to a semi-supervised setting so that it can learn from datasets containing only low-resolution HSIs. With these contributions, our method is able to learn from heterogeneous datasets and lift the requirement for having a large amount of HD HSI training samples. Extensive experiments on four standard datasets show that our method outperforms existing methods significantly and underpin the relevance of our contributions. Code has been made available at https://github.com/kli8996/HSISR.

研究の動機と目的

• 過学習と分布シフトの影響によりディープラーニング性能が制限される、高解像度（HR）ハイパースペクトル画像（HSI）の訓練データ不足という課題に対処する。
• 高解像度RGB画像と低解像度HSIデータの豊富さを活用し、純粋なHR HSIデータセットにとどまらない訓練データの拡張を実現する。
• RGB画像超解像を補助タスクとして導入するマルチタスク学習フレームワークにより、モデルの汎用性を向上させ、記憶化を低減する。
• 訓練の多様性と耐障害性を向上させるために、HSI SRに特化したデータ増強戦略を開発する。追加の実際のデータを必要としない。
• 低解像度HSIデータのラベルなしデータセットを活用し、事前学習済みRGB SRモデルとのモデル間一貫性を用いて、HSI SRへの半教師あり学習を拡張する。

提案手法

• HSI SRとRGB画像超解像の両方のタスクを共同で学習するマルチタスク学習フレームワークを提案。特徴表現を共有することで、汎用性の向上を図る。
• スペクトルミックスアップを導入。同じHSI内でのスペクトルバンドの凸結合によって仮想的な訓練サンプルを生成し、スペクトル次元における線形性を促進する。
• モデル間一貫性に基づく半教師あり学習戦略を採用：同一の低解像度HSIから得られる、HSI SRネットワークとRGB SRネットワークの両方の超解像RGB出力が一致するようにする。
• 31〜128バンドのHSIや3バンドのRGBなど、異なる数のスペクトルバンドを効率的に処理できるユニバーサルなグループ畳み込みネットワークアーキテクチャを採用。両タスクの統合学習を可能にする。
• 超解像されたHSI出力をRGBに変換するための標準的なカメラ応答関数を適用し、RGB SRネットワークとの一貫性損失を計算する。
• ラベル付きHR HSIデータに対する監督損失と、ラベルなしLR HSIデータに対する一貫性損失を組み合わせ、エンドツーエンドでモデルを学習。異種データセットの有効活用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ドメインやスペクトルバンドの違いがあるにもかかわらず、RGB画像超解像を補助タスクとして共同学習することで、HSI超解像モデルの性能と耐障害性が向上するか？
• RQ2 スペクトルミックスアップは、HSI SRにおける過学習の低減と未学習サンプルへの汎用性向上に効果的か？
• RQ3 事前学習済みRGB SRモデルとのモデル間一貫性を用いて、ラベルなし低解像度HSIデータを活用することで、半教師あり学習をHSI SRに効果的に適応できるか？
• RQ4 提案された3つの要素（マルチタスク学習、スペクトルミックスアップ、半教師あり学習）が、どのように相乗効果を発揮してHSI SR性能を向上させるか？
• RQ5 HR HSIデータが限られている状況でも、異なるスペクトルバンド数とシーンコンテンツを持つ多様なデータセットに、本手法が汎用的に適用可能か？

主な発見

• 提案手法は、4つの標準的HSI SRベンチマーク（CAVE、Harvard、NTRIE、Chikusei）で最先端の性能を達成し、PSNR、SSIM、RMSEのすべての指標で既存手法を上回った。
• 提案された3つの要素のいずれを含まない場合でも、ベースモデル（グループ畳み込みネットワークのみ）はトップクラスの性能を示しており、アーキテクチャ自体の有効性を示した。
• 補助タスクとしてのRGB画像超解像がHSI SR性能を顕著に向上させ、スペクトルミックスアップと半教師あり学習を併用した場合に最も高い結果が得られた。
• スペクトルミックスアップは一貫してモデルの汎用性を向上させ、過学習の低減と分布外サンプルへの耐障害性の向上を実現した。
• 半教師あり学習のコンponentにより、ラベルなし低解像度HSIデータの有効活用が可能となり、補助タスクと組み合わせることで性能がさらに向上した。
• 完全に教師あり設定（例：CAVEとHarvardの×4）において、PSNRが42.1以上、RMSEが0.0125未満を達成し、MCNet や SSPSR などの先行SOTA手法を上回った。