[論文レビュー] DSDANet: Deep Siamese Domain Adaptation Convolutional Neural Network for Cross-domain Change Detection

Hongruixuan Chen, Chen Wu+2 more|arXiv (Cornell University)|Jun 16, 2020

Remote-Sensing Image Classification参考文献 57被引用数 19

ひとこと要約

本稿では、マルチスペクトル画像におけるクロスドメイン変化検出のための深層シアンプスドメイン適応CNN、DSDANetを提案する。マルチカーネル最大平均差分（MK-MMD）を活用して、ラベル付きのソースドメインとラベルなしのターゲットドメイン間の特徴分布を整合化することで、DSDANetはドメインシフトを顕著に低減する転送可能な特徴を学習し、ターゲットドメインのラベルが疎である状況でも高い性能を発揮する変化検出を実現する。

ABSTRACT

Change detection (CD) is one of the most vital applications in remote sensing. Recently, deep learning has achieved promising performance in the CD task. However, the deep models are task-specific and CD data set bias often exists, hence it is inevitable that deep CD models would suffer degraded performance after transferring it from original CD data set to new ones, making manually label numerous samples in the new data set unavoidable, which costs a large amount of time and human labor. How to learn a transferable CD model in the data set with enough labeled data (original domain) but can well detect changes in another data set without labeled data (target domain)? This is defined as the cross-domain change detection problem. In this paper, we propose a novel deep siamese domain adaptation convolutional neural network (DSDANet) architecture for cross-domain CD. In DSDANet, a siamese convolutional neural network first extracts spatial-spectral features from multi-temporal images. Then, through multi-kernel maximum mean discrepancy (MK-MMD), the learned feature representation is embedded into a reproducing kernel Hilbert space (RKHS), in which the distribution of two domains can be explicitly matched. By optimizing the network parameters and kernel coefficients with the source labeled data and target unlabeled data, DSDANet can learn transferrable feature representation that can bridge the discrepancy between two domains. To the best of our knowledge, it is the first time that such a domain adaptation-based deep network is proposed for CD. The theoretical analysis and experimental results demonstrate the effectiveness and potential of the proposed method.

研究の動機と目的

• ラベル付きデータを有するソースドメインからラベルなしのターゲットドメインにモデルを転送する際の変化検出モデルの性能低下という課題に対処すること。
• ソースおよびターゲットリモートセンシング画像データセット間の分布差異によって引き起こされるドメインシフト問題を克服すること。
• ターゲットドメインにおける膨大な手動アノテーションを必要としない、転送可能でドメイン不変な特徴を学習する深層学習フレームワークを開発すること。
• ターゲットドメインデータのラベリングが高コストかつ時間のかかる現実世界の応用において、効果的な変化検出を可能にすること。
• シアンプスアーキテクチャとMK-MMDを組み合わせた、クロスドメイン変化検出に特化した新しいドメイン適応ソリューションを提供すること。

提案手法

• マルチタイムリー画像から両方のドメイン（ソースおよびターゲット）における共有された空間的・スペクトル的特徴を抽出するために、シアンプス畳み込みニューラルネットワークを採用する。
• 再生成核ヒルバート空間（RKHS）において、ソースドメインとターゲットドメインの特徴間の分布差を測定・最小化するために、マルチカーネル最大平均差分（MK-MMD）を導入する。
• ラベル付きソースデータとラベルなしターゲットデータを用いて、ネットワークパラメータとカーネル係数を同時に最適化し、ドメイン不変な表現を学習する。
• エンド・トゥ・エンドの学習を促進するために、ソースデータにおける分類損失とMK-MMDによるドメイン差異損失を組み合わせた共同損失関数を用いる。
• 特徴レベルのドメイン統合を実施し、異なるドメインからの深層特徴が統計的に類似するようにすることで、モデルの汎化性能を向上させる。
• ターゲットドメインからの少数のラベル付きサンプルでのファインチューニングにより、高い検出精度を達成する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン適応を施した深層シアンプスネットワークは、クロスドメイン変化検出におけるドメインシフトを効果的に低減できるか？
• RQ2 MK-MMDに基づく特徴統合は、ソースドメインとターゲットドメイン間での学習表現の転送性をどの程度向上させるか？
• RQ3 DSDANetは、ターゲットドメインで最小限のラベルデータを用いても、どの程度高い変化検出精度を達成できるか？
• RQ4 本手法は、大量のターゲットラベルデータでファインチューニングされたタスク固有のモデルを上回る性能を示すか？
• RQ5 ソースドメインとターゲットドメインのデータ分布が著しく異なる場合でも、ドメイン不変な特徴を効果的に学習できるか？

主な発見

• DSDANetは、ベースラインモデルと比較して、トレーニング中に一貫して低いMK-MMD値を示すことで、ドメイン差異が顕著に低減されていることが裏付けられている。
• ソースドメインとターゲットドメイン間のA距離は、DSDANet特徴においてDSCNet特徴よりも顕著に小さいことが確認され、より良いドメイン統合が達成されていることが示された。
• t-SNE可視化により、DSDANetはドメイン間でより類似した特徴分布を学習していることが確認され、変化クラスと非変化クラスの明確な分離が得られている。
• DSDANetは、ターゲットドメインの3つのデータセットにおいても、ラベルが疎な状況でも優れた変化検出性能を発揮し、大量のラベル付きデータでファインチューニングされたモデルを上回っている。
• 限られたターゲットラベルでさえも、DSDANetは高い転送性と耐障害性を維持しており、現実世界の応用における強力な実用的適用性を示している。
• 本手法は、クロスドメイン変化検出において、シアンプスCNNフレームワークを用いたMK-MMDによるドメイン適応を初めて適用したものであり、分野における新しいベンチマークを確立した。