[論文レビュー] Large-Scale Hyperspectral Image Clustering Using Contrastive Learning

Yaoming Cai, Zijia Zhang+5 more|arXiv (Cornell University)|Nov 15, 2021

Remote-Sensing Image Classification参考文献 47被引用数 15

ひとこと要約

本稿では、対照的自己教師あり学習を用いて、大規模ハイ hyperspectral 画像のためのスケーラブルでエンド・ツー・エンドのオンラインクラスタリングフレームワークであるスペクトル・スパティアル対照的クラスタリング（SSCC）を提案する。対称的なツインネットワークとスペクトル・スパティアルのアンプリフィケーション、およびクラスタ固有のプロジェクションヘッドを活用することで、SSCCはクラスタ内での密着性とクラスタ間での分離性を同時に最適化し、3つのベンチマークデータセットで先行手法を大きく上回る最先端のパフォーマンスを達成した。

ABSTRACT

Clustering of hyperspectral images is a fundamental but challenging task. The recent development of hyperspectral image clustering has evolved from shallow models to deep and achieved promising results in many benchmark datasets. However, their poor scalability, robustness, and generalization ability, mainly resulting from their offline clustering scenarios, greatly limit their application to large-scale hyperspectral data. To circumvent these problems, we present a scalable deep online clustering model, named Spectral-Spatial Contrastive Clustering (SSCC), based on self-supervised learning. Specifically, we exploit a symmetric twin neural network comprised of a projection head with a dimensionality of the cluster number to conduct dual contrastive learning from a spectral-spatial augmentation pool. We define the objective function by implicitly encouraging within-cluster similarity and reducing between-cluster redundancy. The resulting approach is trained in an end-to-end fashion by batch-wise optimization, making it robust in large-scale data and resulting in good generalization ability for unseen data. Extensive experiments on three hyperspectral image benchmarks demonstrate the effectiveness of our approach and show that we advance the state-of-the-art approaches by large margins.

研究の動機と目的

• 大規模ハイ hyperspectral 画像のための従来のオフラインディープクラスタリングモデルにおけるスケーラビリティ、ロバスト性、一般化性能の制限を解決すること。
• 表現学習とクラスタリングの不安定な交互最適化を回避するエンド・ツー・エンドでオンラインのクラスタリングフレームワークを構築すること。
• スペクトル・スパティアルのデータオーキュメンテーションを用いた自己教師あり対照的学習を活用してクラスタリング性能を向上させること。
• 高価な人手によるアノテーションデータを必要とせずに効果的な表現学習を可能にすること。
• 教師ありと非教師ありの HSI クラスタリング手法の性能格差を埋めること。

提案手法

• クラスタ数と一致する次元を持つプロジェクションヘッドを備えた対称的なツインニューラルネットワークを提案し、二重の対照的学習を可能にする。
• 対照的学習のためのポジティブおよびネガティブなサンプルペアを生成するためのスペクトル・スパティアルのアンプリフィケーションプールを採用する。
• クラスタ内類似度を暗黙的に最大化し、クラスタ間の冗長性を最小化する新しい対照的目的関数を設計する。
• エンド・ツー・エンドでバッチ単位で学習を実行し、大規模データへのスケーラビリティとオンラインクラスタリングを可能にする。
• ハイ hyperspectral データからの高レベル特徴を抽出するためにバックボーンネットワーク（例：CNN や Transformer）を適用する。
• 学習済みの潜在表現とラベル表現の可視化のため t-SNE を用い、クラスタリングの品質と識別性能を分析する。

実験結果

リサーチクエスチョン

• RQ1 人手によるアノテーションデータが一切不要な状態で、対照的自己教師あり学習が大規模ハイ hyperspectral 画像のクラスタリング性能を向上させられるか？
• RQ2 提案された二重対照的目的関数は、クラスタ内での密着性とクラスタ間での分離性をどのように向上させるか？
• RQ3 SSCC は未学習データに対してどれほど一般化可能であり、大規模ハイ hyperspectral データセットにスケーリング可能か？
• RQ4 モデルのオンラインでエンド・ツー・エンドの学習スキームは、交互最適化と比較して安定性とパフォーマンスをどのように向上させるか？
• RQ5 学習されたラベル表現は、明示的な正則化なしに高レベルの意味的差を捉えることができるか？

主な発見

• SSCC は、インド・パインズ、ハットン、サリナスの3つのハイ hyperspectral 画像ベンチマークで最先端のクラスタリングパフォーマンスを達成し、以前の最先端手法を大きく上回った。
• ラベル表現のダイバージェンス値がトレーニングエポックに伴い顕著に増加し、識別能力の向上とより良いクラス分離性を示している。
• t-SNE の可視化から、初期モデルと比較して、良好に訓練されたモデルがより一様で識別性の高い潜在表現を学習していることがわかった。
• ラベル表現の可視化から、スパースでクラスタ固有の活性化パターンが観察され、モデルが意味的な差を学習できる能力を示している。
• 自己教師あり対照的学習のおかげで、手作業による特徴抽出や人手によるアノテーションデータにほとんど依存せず、高いクラスタリング精度を達成した。
• アブレーションスタディにより、二重対照的目的関数とスペクトル・スパティアルのアンプリフィケーションがパフォーマンス向上に不可欠であることが確認された。