[論文レビュー] Revisiting Consistency Regularization for Semi-supervised Change Detection in Remote Sensing Images

Wele Gedara Chaminda Bandara, Vishal M. Patel|arXiv (Cornell University)|Apr 18, 2022

Remote-Sensing Image Classification被引用数 58

ひとこと要約

論文は、ディープ特徴差分に適用された摂動に対して変更マップの一貫性を強制する半教師ありの変更検出モデルを提示し、ラベル付き例がはるかに少なくても高い性能を可能にします。10%のラベルのみでほぼ監視付きの結果を達成し、データセットを越えた一般化が良いことを示します。

ABSTRACT

Remote-sensing (RS) Change Detection (CD) aims to detect "changes of interest" from co-registered bi-temporal images. The performance of existing deep supervised CD methods is attributed to the large amounts of annotated data used to train the networks. However, annotating large amounts of remote sensing images is labor-intensive and expensive, particularly with bi-temporal images, as it requires pixel-wise comparisons by a human expert. On the other hand, we often have access to unlimited unlabeled multi-temporal RS imagery thanks to ever-increasing earth observation programs. In this paper, we propose a simple yet effective way to leverage the information from unlabeled bi-temporal images to improve the performance of CD approaches. More specifically, we propose a semi-supervised CD model in which we formulate an unsupervised CD loss in addition to the supervised Cross-Entropy (CE) loss by constraining the output change probability map of a given unlabeled bi-temporal image pair to be consistent under the small random perturbations applied on the deep feature difference map that is obtained by subtracting their latent feature representations. Experiments conducted on two publicly available CD datasets show that the proposed semi-supervised CD method can reach closer to the performance of supervised CD even with access to as little as 10% of the annotated training data. Code available at https://github.com/wgcban/SemiCD

研究の動機と目的

• 高頻度で発生するラベリングコストを抑制するためのモティベーションと bi-temporal リモートセンシングの変更検出（CD）の課題。
• 特徴差分領域における一貫性正規化を利用して、ラベルなしの bi-temporal データを活用する半教師あり CD フレームワークを提案。
• 深層特徴差分領域でクラスタ前提が成り立つことを示し、生の入力ドメインではなく、ラベルなしデータの有効活用を可能にする。
• 公的 CD データセット LEVIR および WHU を用いたクロスデータセット・クロスドメイン実験を通じた頑健性と移植性の評価。

提案手法

• サイマじょん ResNet-50 エンコーダを用いて変更前後の画像から特徴を抽出。
• 深層特徴差分を計算し、Pyramid Pooling Module で変更に関連する表現を得る。
• ラベルデータ上の監視付き Cross-Entropy 損失で訓練されたデコーダを介して変更確率マップにデコード。
• 深層特徴差分マップを摂動させ、複数の摂動に対する予測の一貫性を課す無監視の一貫性損失を導入。
• ノイズ、特徴ドロップ、cutout、マスキング、VAT など複数の摂動タイプと無監督損失のラ ramped ウェイトを探索。
• L = L_sup + lambda(t) L_unsup を用いて最適化し、lambda(t) はガウス様スケジュールに従って 0 から 1 へ増加。

実験結果

リサーチクエスチョン

• RQ1 一貫性正規化は半教師あり CD に効果的に適用できるか、CD のタスクにはどこで摂動を適用すべきか。
• RQ2 入力 bi-temporal ドメインでクラスタ前提は成立するか、それとも深層特徴差分ドメインで成立するか。
• RQ3 同一データセット内外のラベルなしデータは、純粋な教師あり学習と比較して CD の性能をどの程度改善できるか。
• RQ4 提案する半教師あり CD 手法はデータセット間（例：LEVIR と WHU）およびクロスデータセットシナリオでどの程度一般化するか。

主な発見

• CD のクラスタ前提は生データドメインではなく、深層特徴差分ドメインで成立する。
• 特徴差分空間での一貫性正規化を用いる半教師あり CD は、ラベル付きデータがごく少なくとも監視付きCDの性能に近づくことができる。
• 提案手法は従来の最先端半教師ありCD（SemiCDNet）を特に低ラベリング比率で顕著に上回る。
• クロスデータセット実験では、異なるデータセット（LEVIR vs WHU）での評価時や他データセットのラベルなしデータを使用した場合にベースラインを大幅に上回る強い一般化を示す。
• 半教師ありフェーズで別データセットのラベルなしデータを利用することで、同データセット内のラベルなしデータよりもCDの結果がさらに改善される。