[論文レビュー] Spectral-Spatial Contrastive Learning Framework for Regression on Hyperspectral Data

Mohamad Dhaini, Paul Honeine+2 more|arXiv (Cornell University)|Feb 11, 2026

Remote-Sensing Image Classification被引用数 0

ひとこと要約

モデル非依存のスペクトral-空間コントラスト学習フレームワークを用いたハイパースペクトル回帰。3Dバックボーン（CNNまたはトランスフォーマー）と回帰ヘッドを組み合わせ、スペクトルと空間の拡張を用いて合成データと実データで性能を向上させる。

ABSTRACT

Contrastive learning has demonstrated great success in representation learning, especially for image classification tasks. However, there is still a shortage in studies targeting regression tasks, and more specifically applications on hyperspectral data. In this paper, we propose a spectral-spatial contrastive learning framework for regression tasks for hyperspectral data, in a model-agnostic design allowing to enhance backbones such as 3D convolutional and transformer-based networks. Moreover, we provide a collection of transformations relevant for augmenting hyperspectral data. Experiments on synthetic and real datasets show that the proposed framework and transformations significantly improve the performance of all studied backbone models.

研究の動機と目的

• ラベル付きサンプルが乏しい場合のハイパースペクトルデータ回帰の課題に対処する。
• ハイパースペクトル入力に特化したスペクトル-空間の拡張ツールボックスを導入する。
• 3D-CNNおよびトランスフォーマーのバックボーンと互換性のあるフレームワークを提案し、豊富な表現を学習する。
• 合成データと実世界のハイパースペクトルデータセット（土壌汚染予測を含む）でフレームワークの有効性を示す。

提案手法

• ハイパースペクトルキューブをパッチ化して局所的なスペクトル-空間情報を捉える。
• 共有3Dバックボーン（3D-CNNまたはトランスフォーマー）を用いて元のパッチと拡張パッチから特徴を抽出する。
• 回帰損失とコントラスト損失を結合した学習目標で訓練する。回帰ターゲットが類似するビューを結びつける。
• 回帰ラベル空間で半径ベースの正例ペアを定義する（|y^i − y^j| ≤ r）。
• スペクトルシフト、スペクトル反転、Hapke散乱、大気補正、エラスティック歪み、バンド消去、バンド置換、最近傍混合を含むスペクトル-空間拡張ツールボックスと標準的な空間拡張（回転、エラスティック変形、反転、平行移動）を適用する。
• L_total = L_R + α L_Contrastive を最適化し、L_R は平均二乗回帰誤差、L_Contrastive は拡張ビュー間のコサイン類似度ベースのコントラスト損失。

Fig. 1 : Architecture of the proposed framework.

実験結果

リサーチクエスチョン

• RQ1 スペクトル-空間コントラスト学習は様々なバックボーンにおいてハイパースペクトルデータの回帰性能を改善できるか。
• RQ2 スペクトルおよび空間の拡張とそれらの組み合わせがハイパースペクトル回帰の性能向上にどう寄与するか。
• RQ3 本フレームワークは合成データと実データ（例：Samson）および異なる3Dバックボーン（CNNとトランスフォーマー）で有効か。
• RQ4 回帰指向のコントラスト学習における半径ベースの正例ペア選択の影響は何か。

主な発見

• フレームワークは合成データ上で複数の3Dバックボーンに対してベースラインモデルより回帰性能を向上させる。
• スペクトルを先に取り入れ、次いで空間（特にその組み合わせ）は、各バックボーンで最良の回帰指標をもたらす。
• スペクトル-空間トランスフォーマーボディは、合成データと実データ（Samson）双方でテストされたアーキテクチャの中で最良の結果を示す。
• コントラスト学習はスペクトルおよび空間の摂動が異なる場合にも堅牢な利得を提供し、ハイパースペクトル回帰の拡張ツールボックスの価値を示す。
• USGSのエンドメンバーと Samsonの実データを用いた合成データでのデモンストレーションにより、R^2とMAEのベースラインに対して一貫した改善を示す。

Fig. 2 : Original (blue) and transformed (orange) examples from real spectral data.