[論文レビュー] Robust Unsupervised Small Area Change Detection from SAR Imagery Using Deep Learning

Xinzheng Zhang, Hang Su+4 more|arXiv (Cornell University)|Nov 22, 2020

Remote-Sensing Image Classification参考文献 35被引用数 4

ひとこと要約

本稿では、マルチタイムスパンSAR画像における小領域の変化検出のためのロバストな非教師あり深層学習フレームワークを提案する。複数スケールのスーパープixels再構成を用いてノイズ低減された差分画像を生成し、2段階の中心制約付きファジィc-平均クラスタリングを適用して画素を変化済み、変化なし、中間クラスに分類し、DCGANを用いた敵対的データ拡張により畳み込みウェーブレットニューラルネットワークを訓練することで、実際のSARデータセットで最大99.61%の精度を達成する。

ABSTRACT

Small area change detection from synthetic aperture radar (SAR) is a highly challenging task. In this paper, a robust unsupervised approach is proposed for small area change detection from multi-temporal SAR images using deep learning. First, a multi-scale superpixel reconstruction method is developed to generate a difference image (DI), which can suppress the speckle noise effectively and enhance edges by exploiting local, spatially homogeneous information. Second, a two-stage centre-constrained fuzzy c-means clustering algorithm is proposed to divide the pixels of the DI into changed, unchanged and intermediate classes with a parallel clustering strategy. Image patches belonging to the first two classes are then constructed as pseudo-label training samples, and image patches of the intermediate class are treated as testing samples. Finally, a convolutional wavelet neural network (CWNN) is designed and trained to classify testing samples into changed or unchanged classes, coupled with a deep convolutional generative adversarial network (DCGAN) to increase the number of changed class within the pseudo-label training samples. Numerical experiments on four real SAR datasets demonstrate the validity and robustness of the proposed approach, achieving up to 99.61% accuracy for small area change detection.

研究の動機と目的

• SAR画像における小スケールの変化検出の課題に取り組む。これは、スパッゲルノイズとラベル付きデータの不足のため困難である。
• 手動でアノテートされた変化ラベルに依存しない非教師あり手法を開発し、データが限られた状況への適用を可能にする。
• 空間均質性と自己教師付きの深層特徴学習を活用することで、検出精度とロバスト性を向上させる。
• DCGANを用いた敵対的データ生成により、レアな変化領域の表現を強化する。

提案手法

• 局所的な空間均質性を活用することで、スパッゲルノイズを低減しエッジを強化する複数スケールのスーパープixels再構成法を用いて差分画像（DI）を生成する。
• 並列クラスタリング戦略を用いて、2段階の中心制約付きファジィc-平均クラスタリングアルゴリズムがDIの画素を変化済み、変化なし、中間クラスに分割する。
• 変化済みおよび変化なしクラスからの画像パッチを、畳み込みウェーブレットニューラルネットワーク（CWNN）の偽ラベル付き学習サンプルとして使用する。
• 中間クラスからのパッチをテストサンプルとして扱い、訓練済みのCWNNによって分類する。
• 深層畳み込み生成対抗ネットワーク（DCGAN）を用いて、変化クラスの追加学習サンプルを合成し、モデルの一般化を向上させる。
• 拡張された偽ラベル付きデータを用いて、CWNNをエンドツーエンドで訓練し、テストパッチを変化済みまたは変化なしカテゴリに分類する。

実験結果

リサーチクエスチョン

• RQ1 スーパープixelsベースの差分画像は、SAR画像においてスパッゲルノイズを効果的に低減すると同時にエッジ詳細を保持できるか？
• RQ2 中心制約付きの非教師ありクラスタリングは、SAR変化検出における変化済みおよび変化なし領域の分離をどのように改善できるか？
• RQ3 偽ラベル付き学習データとGANベースのデータ拡張を組み合わせることで、小領域変化検出における深層学習モデルの性能はどの程度向上するか？
• RQ4 本手法は、シーンコンテンツやノイズ特性が異なる多様な実世界のSARデータセットにおいて、どの程度のロバスト性を示すか？

主な発見

• 提案手法は4つの実SARデータセットで最大99.61%の検出精度を達成し、小領域変化検出において高い性能を示した。
• 複数スケールのスーパープixels再構成は、スパッゲルノイズを効果的に低減しエッジ情報強化することで、差分画像の品質を向上させた。
• 2段階の中心制約付きファジィc-平均クラスタリングは、変化済みおよび変化なし領域を効果的に分離するとともに、テスト用の中途画素を同定した。
• DCGANを用いたデータ拡張の統合により、変化領域のサンプル数が顕著に増加し、モデルのロバスト性と一般化性能が向上した。
• CWNNアーキテクチャは、偽ラベル付きデータから判別的特徴を効果的に学習し、テストパッチにおける分類精度を高めた。
• 本手法は多様なSARデータセットにおいて強くロバストであることが示され、リモートセンシング応用における実世界への展開可能性を示した。