[論文レビュー] Deep Metric Learning for Unsupervised Remote Sensing Change Detection

Wele Gedara Chaminda Bandara, Vishal M. Patel|arXiv (Cornell University)|Mar 16, 2023

Remote-Sensing Image Classification被引用数 6

ひとこと要約

本稿では、非教師あり類似度・非類似度損失を用いて、深層変化確率生成器（D-CPG）と深層特徴抽出器（D-FE）を同時に最適化する、深層度量学習に基づく非教師ありリモートセンシング変化検出手法を提案する。本手法は、ラベル付き学習データを一切必要とせず、3つのベンチマークデータセットで最先端の性能を達成しており、従来の教師ありおよび非教師あり手法を著しく上回っている。

ABSTRACT

Remote Sensing Change Detection (RS-CD) aims to detect relevant changes from Multi-Temporal Remote Sensing Images (MT-RSIs), which aids in various RS applications such as land cover, land use, human development analysis, and disaster response. The performance of existing RS-CD methods is attributed to training on large annotated datasets. Furthermore, most of these models are less transferable in the sense that the trained model often performs very poorly when there is a domain gap between training and test datasets. This paper proposes an unsupervised CD method based on deep metric learning that can deal with both of these issues. Given an MT-RSI, the proposed method generates corresponding change probability map by iteratively optimizing an unsupervised CD loss without training it on a large dataset. Our unsupervised CD method consists of two interconnected deep networks, namely Deep-Change Probability Generator (D-CPG) and Deep-Feature Extractor (D-FE). The D-CPG is designed to predict change and no change probability maps for a given MT-RSI, while D-FE is used to extract deep features of MT-RSI that will be further used in the proposed unsupervised CD loss. We use transfer learning capability to initialize the parameters of D-FE. We iteratively optimize the parameters of D-CPG and D-FE for a given MT-RSI by minimizing the proposed unsupervised ``similarity-dissimilarity loss''. This loss is motivated by the principle of metric learning where we simultaneously maximize the distance between change pair-wise pixels while minimizing the distance between no-change pair-wise pixels in bi-temporal image domain and their deep feature domain. The experiments conducted on three CD datasets show that our unsupervised CD method achieves significant improvements over the state-of-the-art supervised and unsupervised CD methods. Code available at https://github.com/wgcban/Metric-CD

研究の動機と目的

• リモートセンシング変化検出における大規模なアノテート済みデータセットの不足に取り組む。
• ドメインシフト問題を克服するため、ドメインを跨いで一般化可能な完全な非教師あり手法を開発する。
• 時系列的なリモートセンシング画像における季節的および色の変化に強い耐性を向上させる。
• 新しいデータセットに対して微調整なしに、転送可能で適応可能な変化検出を実現する。
• 変化・非変化ピクセルを区別するための度量学習の原則を活用した自己教師あり学習フレームワークを開発する。

提案手法

• 本手法は2つの深層ニューラルネットワークを用いる：変化／非変化確率マップを予測するための深層変化確率生成器（D-CPG）と、二時相画像からの階層的深層特徴を抽出するための深層特徴抽出器（D-FE）。
• D-FEは、画像分類で事前学習済みのImageNetモデルからの転移学習によって初期化され、特徴品質と収束性が向上する。
• 非教師あり類似度・非類似度損失を提案。画像空間および深層特徴空間の両方で、クラス間（変化）距離を最大化し、クラス内（非変化）距離を最小化する。
• 損失関数は3つの成分を組み合わせている：画像レベルの類似度・非類似度損失（$\mathcal{L}_{\text{img}}$）、特徴レベル損失（$\mathcal{L}_{\text{feat}}$）、コンテキスト一貫性損失（$\mathcal{L}_{\text{ctx}}$）で、空間的一致性を強制する。
• D-CPGとD-FEはバックプロパゲーションを用いて、反復的に共同最適化され、変化確率マップと特徴表現が改善される。
• 最適な性能を得るため、VGG-16の複数スケール特徴（スケール $l=1$ および $l=2$）が活用され、アブレーション実験でより深い層を使用すると性能が低下することが示された。

Figure 1: How our deep metric learning-based CD method differs from the state-of-the-art CD methods. (a) Supervised CD : In this case, MT-RSIs and the corresponding change masks are available for training the CD model [ 53 , 11 , 32 ] . (b) Self-supervised CD : In this case, change masks are not ava

実験結果

リサーチクエスチョン

• RQ1 アノテート済み学習データを必要とせずに、深層度量学習を非教師ありリモートセンシング変化検出に効果的に適用可能か？
• RQ2 変化確率生成器と特徴抽出器の共同最適化は、色や季節的変化に対する検出の頑健性をどのように向上させるか？
• RQ3 画像レベル、特徴レベル、コンテキスト一貫性損失の相対的寄与度は、変化検出性能の向上にどのように寄与するか？
• RQ4 ネットワークアーキテクチャおよび特徴スケールの選択は、最終的な検出精度にどのように影響するか？
• RQ5 自己教師あり度量学習アプローチは、標準ベンチマークで、従来の教師ありおよび非教師あり最先端手法を上回ることができるか？

主な発見

• 提案手法は、OSCDデータセットでAUC 0.937を達成し、従来の最先端の非教師ありおよび教師あり手法を著しく上回った。
• D-CPGに32層の残差ブロックを有するResNetを用いることで、最高のAUC（0.937）を達成し、U-Net、Hourglass、浅いResNetを上回った。
• 画像レベル、特徴レベル、コンテキスト一貫性損失（$\mathcal{L}_{\text{img}}$, $\mathcal{L}_{\text{feat}}$, $\mathcal{L}_{\text{ctx}}$）の組み合わせが、OSCDでF1スコア0.325およびOA 0.958の最高性能を達成した。
• VGG-16の最初の2つのスケール（$l=1,2$）からの深層特徴を用いることで最適な性能が得られ、より深い層を用いると性能が低下した。
• 特徴レベルの類似度・非類似度損失（$\mathcal{L}_{\text{feat}}$）は、画像レベル損失（$\mathcal{L}_{\text{img}}$）よりも性能向上に寄与が大きく、AUCが0.821から0.879に上昇した。
• ベイルートの画像ペアにおける収束曲線から、最適な変化確率マップへの安定的収束が確認された。

Figure 2: We start from random weights for D-CPG $\theta^{0}_{\text{D-CPG}}$ , and iteratively update the weights in order to minimize the proposed $\mathcal{L}_{\text{CD}}$ . At the $t$ -th iteration, weights $\theta^{t}_{\text{D-CPG}}$ are used to generate the change probability maps $\mathbf{P}_{