[論文レビュー] Self-supervised Remote Sensing Images Change Detection at Pixel-level

Yuxing Chen, Lorenzo Bruzzone|arXiv (Cornell University)|May 18, 2021

Remote-Sensing Image Classification参考文献 36被引用数 13

ひとこと要約

本稿では、ベクトル量子化と不確実性モデリングを組み合わせたシアンプル・レジストネットを用いた、リモートセンシングの変化検出のための画素単位の自己教師付き対照的学習手法を提案する。画素レベルでの対照的損失を適用し、ロジンしきい値法を活用することで、OSCド、MUDS、カリフォルニア洪水データセットにおいて最先端の精度と効率性を達成し、ピクセル単位の手法に比べて速度と季節的変化に対するロバスト性に優れている。

ABSTRACT

Deep learning techniques have achieved great success in remote sensing image change detection. Most of them are supervised techniques, which usually require large amounts of training data and are limited to a particular application. Self-supervised methods as an unsupervised approach are popularly used to solve this problem and are widely used in unsupervised binary change detection tasks. However, the existing self-supervised methods in change detection are based on pre-tasks or at patch-level, which may be sub-optimal for pixel-wise change detection tasks. Therefore, in this work, a pixel-wise contrastive approach is proposed to overcome this limitation. This is achieved by using contrastive loss in pixel-level features on an unlabeled multi-view setting. In this approach, a Siamese ResUnet is trained to obtain pixel-wise representations and to align features from shifted positive pairs. Meanwhile, vector quantization is used to augment the learned features in two branches. The final binary change map is obtained by subtracting features of one branch from features of the other branch and using the Rosin thresholding method. To overcome the effects of regular seasonal changes in binary change maps, we also used an uncertainty method to enhance the temporal robustness of the proposed approach. Two homogeneous (OSCD and MUDS) datasets and one heterogeneous (California Flood) dataset are used to evaluate the performance of the proposed approach. Results demonstrate improvements in both efficiency and accuracy over the patch-wise multi-view contrastive method.

研究の動機と目的

• 既存の自己教師付き変化検出手法がピクセル単位ではなくピクセル群（ピクセルの集合）単位で動作するという限界を解決すること。
• ラベルなしデータを必要とせず、画素単位の特徴抽出を可能にする自己教師付き対照的学習フレームワークの構築。
• アレアトリック不確実性推定を変化検出パイプラインに統合することで、季節的変化に対するロバスト性を向上させること。
• 従来の自己教師付きおよび教師あり手法と比較して、計算コストを低減しつつ高い性能を達成する変化検出の実現。

提案手法

• 2つの時系列リモートセンシング画像のずらし視点から、画素単位の表現を抽出するためのシアンプル・レジストネットを訓練する。
• 対照的損失を画素レベルの特徴に直接適用し、同一空間位置のペア（ポジティブペア）を一致させ、他のペア（ネガティブペア）を分離するように促進する。
• 両ブランチの特徴を拡張するためにベクトル量子化を用い、特徴の多様性を向上させ、表現学習を改善する。
• 最終的な変化マップは、一方のブランチの特徴から他方のブランチの特徴を差し引いた後、二値分類のためのロジンしきい値法を適用することで生成される。
• トレーニング中にアレアトリック不確実性を推定し、特に水田や季節的変化が顕著な地域（例：畑）を特定し、誤検出を低減する。
• 不確実性を考慮した特徴マップを用いて変化検出出力を精緻化し、時間的ロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ピクセル単位の対照的学習は、ピクセル群単位の手法と比較して、自己教師付きリモートセンシングの変化検出における精度と効率性を向上させることができるか？
• RQ2 不確実性推定を組み込むことで、変化検出モデルの季節的変化へのロバスト性はどのように向上するか？
• RQ3 マルチセンサおよびマルチタイムスケールの変化検出において、ピクセルレベルの対照的損失はピクセル群レベルや画像レベルの対照的学習に比べてどれほど性能向上をもたらすか？
• RQ4 本手法は、異種および同種のデータセットにおいて、最先端の教師ありおよび自己教師付きベースラインと比較して、効率性と精度の面で優れているか？
• RQ5 対照的学習と不確実性モデリングの組み合わせにより、洪水のような実世界の状況において、より信頼性が高くノイズの少ない変化マップが得られるか？

主な発見

• 提案手法PixSSLは、OSCドデータセットでKappa係数0.50を達成し、PatchSSL（0.48）およびCAA（0.29）を上回り、計算コストも著しく低減した。
• MUDSデータセットでは、Rosinしきい値法を用いたPixSSLがF1スコア0.50、OA94.26%を達成し、PatchSSLおよびOTSUベースの手法を上回った。
• 推論時間とMACsは、PatchSSLと比較して99％以上削減され、84.9 GFLOPs（PatchSSLは8026.1 GFLOPs）にまで低減した。
• 不確実性を考慮した精緻化処理により、水体や季節的植生の領域における誤検出が低減され、特に複雑な都市部や洪水被害地域の検出性能が向上した。
• 定性的な結果では、PixSSLはPatchSSLおよびCAAと比較して、孤立した洪水地域などの小規模な変化を検出する面で、より明確で正確な変化マップを生成した。
• ロジンしきい値法はOTSUを上回り、異なるデータセットおよび状況においてよりロバストで一貫性のある二値変化マップを生成した。