[論文レビュー] Unsupervised Change Detection in Multi-temporal VHR Images Based on Deep Kernel PCA Convolutional Mapping Network

Chen Wu, Hongruixuan Chen+2 more|arXiv (Cornell University)|Dec 18, 2019

Remote-Sensing Image Classification参考文献 63被引用数 13

ひとこと要約

本論文は、カーネル主成分分析（KPCA）畳み込み層を用いた、教師なし深層学習フレームワークKPCA-MNetを提案する。この手法は、ラベルなしのデータを用いて非線形な空間的スペクトル的特徴を抽出し、特徴マッピングと重み付き特徴方向を介して変化情報を2次元極座標領域にマッピングする。ベンチマークデータセット上で、教師なしの学習サンプルを一切必要としないにもかかわらず、二値および多クラスの変化検出において最先端の性能を達成する。

ABSTRACT

With the development of Earth observation technology, very-high-resolution (VHR) image has become an important data source of change detection. Nowadays, deep learning methods have achieved conspicuous performance in the change detection of VHR images. Nonetheless, most of the existing change detection models based on deep learning require annotated training samples. In this paper, a novel unsupervised model called kernel principal component analysis (KPCA) convolution is proposed for extracting representative features from multi-temporal VHR images. Based on the KPCA convolution, an unsupervised deep siamese KPCA convolutional mapping network (KPCA-MNet) is designed for binary and multi-class change detection. In the KPCA-MNet, the high-level spatial-spectral feature maps are extracted by a deep siamese network consisting of weight-shared PCA convolution layers. Then, the change information in the feature difference map is mapped into a 2-D polar domain. Finally, the change detection results are generated by threshold segmentation and clustering algorithms. All procedures of KPCA-MNet does not require labeled data. The theoretical analysis and experimental results demonstrate the validity, robustness, and potential of the proposed method in two binary change detection data sets and one multi-class change detection data set.

研究の動機と目的

• 既存の深層学習ベースの変化検出手法が大規模なアノテート済み学習データを必要としているという制限に対処すること。
• VHR画像における空間的スペクトル的コンテキストを効果的に捉えることができる教師なし特徴抽出機構を開発すること。
• 教師なしで二値および多クラスの変化検出を両方実行可能な、新しいネットワークアーキテクチャを設計すること。
• 重み付き特徴方向戦略を用いて、多チャンネル特徴差分マップを2次元極座標領域に効率的にマッピングすることで、変化検出の精度を向上させること。
• 多様な複雑さを示す実世界のVHR画像データセットにおいて、提案手法の頑健性と一般化性能を検証すること。

提案手法

• 標準的な畳み込み層に代わって、カーネルPCAを用いて非線形特徴抽出を実行する、新しいKPCA畳み込み層を提案する。
• 重み共有のKPCA畳み込み層を備えた深層シアンズネットワークを採用し、時系列が異なるVHR画像からの高レベルの空間的スペクトル的特徴を抽出する。
• シアンズネットワークから得られた2つの高レベル特徴マップの画素単位の差分をとることで、特徴差分マップを生成する。
• 特徴差分マップにおける変化の大きさに基づき、変化の存在を2次元極座標領域に符号化する「特徴マッピング（FM）」戦略を導入する。
• 固有値に基づいてチャンネル固有の重みを割り当てることで、特徴差分マップ内のより情報量の多い変化成分を強調する「重み付き特徴方向（WFD）」手法を提案する。
• 閾値分類を用いた二値変化検出と、WFDマップへのクラスタリングを用いた多クラス変化検出を、両方とも完全に教師なしで実行する。

実験結果

リサーチクエスチョン

• RQ1 教師なしの深層学習モデルは、アノテート済み学習データを一切必要としない状況でも、時系列が異なるVHR画像における変化を効果的に検出できるか？
• RQ2 提案されたKPCA畳み込み層は、VHR画像からの非線形な空間的スペクトル的特徴抽出において、標準的な畳み込み層と比較してどのように優れているか？
• RQ3 提案されたWFDマッピング戦略は、従来の特徴マッピング技術と比較して、多クラス変化検出の性能を向上させるか？
• RQ4 KPCA-MNetフレームワークは、実世界のVHR画像データセットにおいて、二値および多クラスの変化検出タスクの両方で競争力のある性能を達成できるか？
• RQ5 2次元極座標領域へのマッピングは、変化検出の精度と頑健性を向上させるにあたり、どのような貢献をしているか？

主な発見

• WHおよびQUの二値変化検出データセットにおいて、KPCA-MNetは従来手法および深層学習ベースラインと比較して、より高い全体精度とカッパ係数を達成した。
• 挑戦的なHY多クラス変化検出データセットにおいて、KPCA-MNetは全体精度0.9687およびカッパ係数0.8334を達成し、比較したすべての手法を上回った。
• 提案されたWFD手法は、ベースラインマッピング戦略と比較して顕著に性能を向上させ、M-3（0.8028 vs. 0.8334）と比較して5.1%高いカッパ係数を達成し、多クラス変化情報の有効活用の有効性を示した。
• アブレーションスタディにより、KPCA畳み込み層が教師なしで非線形特徴を効果的に抽出でき、異なるデータセットにわたる一般化性能を向上させられることを確認した。
• 教師なしのレイヤーワイズ訓練戦略が、ラベルなしデータを一切使用せずにネットワークの初期化と効果的な特徴学習を成功させた。
• 定性的な結果から、KPCA-MNetは、ベースライン手法と比較して、塩とコショウノイズが低減され、内部断片化も少ない、より滑らかで整合性のある変化マップを生成した。