[論文レビュー] Unsupervised Change Detection in Satellite Images with Generative Adversarial Network

Caijun Ren, Xiangyu Wang+2 more|arXiv (Cornell University)|Sep 8, 2020

Remote-Sensing Image Classification参考文献 57被引用数 67

ひとこと要約

本稿では、画像のずれの影響を軽減するために、コアリジストされた衛星画像ペアを生成するGANベースの教師なし変化検出フレームワークを提案する。拡張戦略を用いたGANの訓練と、画像クリップを用いる識別器により、変化が単純な比較で容易に検出可能な現実的で整合性のある画像を生成する。合成データおよび実世界データの両方で最先端の性能を達成した。

ABSTRACT

Detecting changed regions in paired satellite images plays a key role in many remote sensing applications. The evolution of recent techniques could provide satellite images with very high spatial resolution (VHR) but made it challenging to apply image coregistration, and many change detection methods are dependent on its accuracy.Two images of the same scene taken at different time or from different angle would introduce unregistered objects and the existence of both unregistered areas and actual changed areas would lower the performance of many change detection algorithms in unsupervised condition.To alleviate the effect of unregistered objects in the paired images, we propose a novel change detection framework utilizing a special neural network architecture -- Generative Adversarial Network (GAN) to generate many better coregistered images. In this paper, we show that GAN model can be trained upon a pair of images through using the proposed expanding strategy to create a training set and optimizing designed objective functions. The optimized GAN model would produce better coregistered images where changes can be easily spotted and then the change map can be presented through a comparison strategy using these generated images explicitly.Compared to other deep learning-based methods, our method is less sensitive to the problem of unregistered images and makes most of the deep learning structure.Experimental results on synthetic images and real data with many different scenes could demonstrate the effectiveness of the proposed approach.

研究の動機と目的

• 画像のずれが性能を低下させる教師なし衛星画像変化検出の課題に対処する。
• 深層生成モデリングを用いて合成的でコアリジストされた画像ペアを生成することで、正確な画像コアリジストへの依存を低減する。
• GANの生成能力を活用し、変化領域のみが異なる多様で現実的な画像変種を生成する。
• 生成画像における一貫した空間的整合性を活用して、実際に変化した領域を効果的に分離する比較戦略を開発する。
• アノテーション付き変化ラベルを一切必要とせず、多様な実画像および合成画像データセットにおいて堅牢で効果的な性能を示す。

提案手法

• 入力画像1ペアからランダムな画像クリップをクロップすることで、単一の画像ペアからより大きなトレーニングセットを生成する拡張戦略を適用する。
• ランダムなノイズベクトルからコアリジストされた画像を合成する生成器と、クリッピングされたパッチを用いて画像の現実性を評価する識別器を備えたGANを訓練する。
• リプシッツ制約とクリップベースの一貫性損失を含む、修正されたWGAN目的関数を用いて識別器を最適化し、空間的整合性を保持する。
• 生成画像ペアに対して比較戦略を適用し、同じ空間的位置における画素単位の差異を検出することで、最終的な変化マップを生成する。
• 入力画像の分布に合わせて画像を生成する条件付き生成器を採用し、ずれのないアーチファクトを最小限に抑える。
• さまざまなサイズ（例：32×32、64×64、128×128）の画像クリップを処理するマルチスケール識別器を統合し、詳細回復と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 GANベースのフレームワークは、画像のずれの影響を軽減するため、コアリジストされた衛星画像ペアを効果的に生成できるか？
• RQ2 識別器における画像クリップの使用が、生成画像の空間的整合性と現実性をどのように向上させるか？
• RQ3 提案手法は、登録されていない画像ペアに対して、既存の教師なし変化検出手法をどの程度上回るか？
• RQ4 空間的詳細の保持とトレーニング安定性のバランスを取るために、識別器で使用する画像クリップの最適なサイズと戦略は何か？
• RQ5 生成器は、空間的整合性を維持しながら、変化領域のみが異なる多様な画像変種を学習的に生成できるか？

主な発見

• 本手法は、実衛星画像データセットで平均F1スコア0.6226を達成し、PCA-Kmeans や DSFA などのベースライン手法を顕著に上回った。
• 都市部、農村部、災害影響地域を含む多様なシーンにおいても、合成データおよび実データの両方で一貫した性能を示し、堅牢性を確認した。
• 識別器における64×64の画像クリップが、詳細回復とトレーニング安定性のバランスが最も良く、32×32および128×128のクリップを上回った。
• 生成された画像は現実的でコアリジストされており、空間的整合性を保ったまま、単純な画素単位の比較により正確な変化検出が可能であった。
• 実行時間はPCA-Kmeansの20.8倍とやや高かったが、トレーニング総時間は20分、推論時間はトレーニング後2秒であり、実世界への導入に実用的であった。
• 6,000ペアの非常に大規模で多様なデータセットで訓練した場合、分布シフトとミニバッチ制限の影響により、生成器の収束に失敗するという限界が示された。