[論文レビュー] DiffUCD:Unsupervised Hyperspectral Image Change Detection with Semantic Correlation Diffusion Model

Xiangrong Zhang, Shunli Tian+3 more|arXiv (Cornell University)|May 21, 2023

Remote-Sensing Image Classification被引用数 8

ひとこと要約

DiffUCDは意味的相関拡散モデルとクロスト tempor al contrastive learningを用いた教示なしのHSI-CDフレームワークを提案し、教示なし手法の中で最先端の結果を達成し、監視付きの性能に近づける。

ABSTRACT

Hyperspectral image change detection (HSI-CD) has emerged as a crucial research area in remote sensing due to its ability to detect subtle changes on the earth's surface. Recently, diffusional denoising probabilistic models (DDPM) have demonstrated remarkable performance in the generative domain. Apart from their image generation capability, the denoising process in diffusion models can comprehensively account for the semantic correlation of spectral-spatial features in HSI, resulting in the retrieval of semantically relevant features in the original image. In this work, we extend the diffusion model's application to the HSI-CD field and propose a novel unsupervised HSI-CD with semantic correlation diffusion model (DiffUCD). Specifically, the semantic correlation diffusion model (SCDM) leverages abundant unlabeled samples and fully accounts for the semantic correlation of spectral-spatial features, which mitigates pseudo change between multi-temporal images arising from inconsistent imaging conditions. Besides, objects with the same semantic concept at the same spatial location may exhibit inconsistent spectral signatures at different times, resulting in pseudo change. To address this problem, we propose a cross-temporal contrastive learning (CTCL) mechanism that aligns the spectral feature representations of unchanged samples. By doing so, the spectral difference invariant features caused by environmental changes can be obtained. Experiments conducted on three publicly available datasets demonstrate that the proposed method outperforms the other state-of-the-art unsupervised methods in terms of Overall Accuracy (OA), Kappa Coefficient (KC), and F1 scores, achieving improvements of approximately 3.95%, 8.13%, and 4.45%, respectively. Notably, our method can achieve comparable results to those fully supervised methods requiring numerous annotated samples.

研究の動機と目的

• ラベル付けコストと撮影条件の変動性のため、教示なしHSI-CDを動機づける。
• スペクトル-空間特徴の意味的相関を捉える拡散モデルを活用する。
• 撮影条件による偽の変化をクロスト tempor al contrastive learningで緩和する。
• 意味的-空間特徴とスペクトル差異不変特徴を融合して正確なCDを実現する。
• ラベルなしで複数の公開データセット上で最先端性能を示す。

提案手法

• DiffUCDは2つの主要モジュール：Semantic Correlation Diffusion Model (SCDM)とCross-Temporal Contrastive Learning (CTCL)、およびChange Detectionヘッドを提案する。
• 事前学習段階で大量のラベルなしHSI-CDサンプルを用いてSCDMを訓練し、スペクトル-空間の意味的相関を捉える。
• SCDMを凍結し、偽ラベルでCTCLを訓練して時間をまたぐ不変なスペクトル特徴を対比学習で整合させる。
• SCDM由来の特徴とCTCL由来の不変特徴を統合する融合モジュールを用いてピクセル単位の変化検出を行う。
• 拡散に基づく再構成、CTCL対比損失、変化検出損失を含む結合損失で最適化する。
• 拡散プロセスを通じて元の意味的特徴のノイズ除去と再構成を示し、タイムスタンプtの影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 拡散ベースのモデルを教示なしのHSI-CDに対して意味的相関を活用して効果的に適用できるか。
• RQ2 環境変化によって生じるクロス時系列スペクトル差を不変特徴として学習できるか。
• RQ3 SCDMとCTCLと統合した融合変化ヘッドが公開データセット上で既存の教示なし手法を上回るか。

主な発見

Method	OA	KC	F1
Santa Barbara (Ours)	96.87	93.41	95.97
Bay Area (Ours)	96.35	92.67	96.57
Hermiston (Ours)	95.47	86.69	89.58

• DiffUCDはSanta Barbara、Bay Area、Hermistonデータセットで教示なしHSI-CD手法の中で最先端のOA、KC、F1を達成（Santa BarbaraでOA最大96.87%、KC最大93.41%、F1最大95.97%）。
• DiffUCDはSanta Barbaraで従来の教示なし手法を約5.73%のOA、11.93%のKC、7.17%のF1で上回る。
• ラベル付きデータが比較的同等であっても、DiffUCDは監視付き手法と競合する性能を示し、時にはOA/KC/F1でそれを上回る。
• アブレーション研究によりSCDMとCTCLを組み込むことで大幅な改善が得られ、DiffUCDは3データセット全てで基礎モデルを上回る。
• t-SNEビジュアライゼーションはDiffUCD特徴がより分離可能で、クラス内外の識別性が改善していることを示唆。
• 定性的結果はノイズ除去と拡散過程による元の意味的スペクトル-空間特徴の再構成が有効であることを示す。