[論文レビュー] Code-Aligned Autoencoders for Unsupervised Change Detection in Multimodal Remote Sensing Images

Luigi Tommaso Luppino, Mads A. Hansen+5 more|arXiv (Cornell University)|Apr 15, 2020

Remote-Sensing Image Classification被引用数 8

ひとこと要約

本稿では、変化領域の教師付きアノテーションを必要とせず、ドメイン固有の類似度行列を用いてコード空間を整合させ、学習中の変化ピクセルの影響を低減することで、マルチモodalリモートセンシング画像における教師なし変化検出のためのコード整合型オートエンコーダーを提案する。本手法は、4つの実データセットにおいて最先端の性能を達成し、異種画像変換および変化検出において高い頑健性を示している。

ABSTRACT

Image translation with convolutional autoencoders has recently been used as an approach to multimodal change detection in bitemporal satellite images. A main challenge is the alignment of the code spaces by reducing the contribution of change pixels to the learning of the translation function. Many existing approaches train the networks by exploiting supervised information of the change areas, which, however, is not always available. We propose to extract relational pixel information captured by domain-specific affinity matrices at the input and use this to enforce alignment of the code spaces and reduce the impact of change pixels on the learning objective. A change prior is derived in an unsupervised fashion from pixel pair affinities that are comparable across domains. To achieve code space alignment we enforce that pixel with similar affinity relations in the input domains should be correlated also in code space. We demonstrate the utility of this procedure in combination with cycle consistency. The proposed approach are compared with state-of-the-art deep learning algorithms. Experiments conducted on four real datasets show the effectiveness of our methodology.

研究の動機と目的

• 教師付き変化領域アノテーションが利用できないマルチモダリティリモートセンシング画像における教師なし変化検出の課題に対処すること。
• 入力データからの関係的ピクセル情報を利用することで、変化ピクセルがオートエンコーダー学習に与える誤解を招く影響を低減すること。
• 敵対的学習やペairedデータに依存せずに、2つのオートエンコーダー間のコード空間を整合させること。
• 光学画像からSARへのような異種データ間で意味のある画像間変換を可能にし、効果的な変化検出を実現すること。
• 多様なモダリティやデータ特性を有する多様なリモートセンシングデータセットに一般化しやすい、頑健な教師なしフレームワークの構築

提案手法

• 本手法は、2つの異なるモダリティ（例：PleiadesとWorldView-2）からの画像をそれぞれ別々のオートエンコーダーで処理し、そのコード空間に変換する。
• 各ドメイン内の画像パッチから類似度行列を計算し、局所的な関係的ピクセル構造を捉え、ドメイン間での比較を可能にする。
• 入力空間における類似度関係と、それに対応する潜在的コード空間における表現との乖離を最小化することで、コード空間の整合性を強制する。
• 整合性損失により、入力ドメインで類似度が近いピクセルペアが、コード空間でも関連した表現にマッピングされるようにする。
• 両方向のエンコーダー・デコーダー経路によるサイクル整合性を適用することで、翻訳品質と安定性を向上させる。
• 変化検出マップは、入力空間と潜在空間における差分画像の重み付き和として生成され、最終出力を精緻化するためにフィルタリングが施される。

実験結果

リサーチクエスチョン

• RQ1 マルチモダリティ画像からの入力レベルの関係的情報のみを用いて、教師なしでコード空間の整合性を効果的に達成できるか？
• RQ2 変化ピクセルの影響を、変化ラベルの教師データがなくても、どのように低減できるか？
• RQ3 類似度に基づくコード空間の整合性を強制することで、異種リモートセンシングデータにおける画像変換および変化検出の品質が向上するか？
• RQ4 本手法は、多様なデータセットにおいて、最先端のディープラーニング手法と比較して、精度と頑健性の面で優れているか？
• RQ5 データのスパarsityや低次元入力（例：単一チャネル画像）が、コード整合型オートエンコーダーの性能に与える影響は何か？

主な発見

• フランスの建設現場データセットでは、本手法が全体的な正解率0.859 ± 0.003を達成し、MIMDS（0.877）やTGSM（0.870）といった最先端手法を上回ったが、最良の手法にわずかに劣った。
• カリフォルニアデータセットでは、PCC（ピアソン積率相関係数）が0.882を記録し、比較対象の最良手法と同等の性能を示した。
• イタリアデータセットでは、PCCが0.877を達成し、上位に位置する手法の一つとなった。
• 本手法は4つのデータセットすべてで一貫した性能を示し、標準偏差が低く、高い安定性と頑健性を示した。
• 特徴が乏しい状況（例：単一チャネル入力）では、1つの変数から多数の変数へのマッピングが不適切に定式化されるため、性能低下が観察された。
• 可視化結果から、生成された画像（例：PleiadesからWorldView-2への変換）が構造的・スタイル的に一貫性を保っていることが確認され、効果的なドメイン変換が実現していることが裏付けられた。