[論文レビュー] Deep Learning for Change Detection in Remote Sensing Images: Comprehensive Review and Meta-Analysis

Lazhar Khelifi, Max Mignotte|arXiv (Cornell University)|Jun 10, 2020

Remote-Sensing Image Classification被引用数 13

ひとこと要約

本論文は、リモートセンシング画像における変化検出のためのディープラーニング（DL）手法について包括的なレビューおよびメタアナリシスを提示し、既存のアプローチを完全教師あり、完全教師なし、およびトランスファーラーニングベースの手法に分類している。深層強化学習と弱教師あり学習が、今後の有望な研究分野であると特定しており、地理情報応用分野における自動変化検出の発展に基盤を提供する。

ABSTRACT

Deep learning (DL) algorithms are considered as a methodology of choice for remote-sensing image analysis over the past few years. Due to its effective applications, deep learning has also been introduced for automatic change detection and achieved great success. The present study attempts to provide a comprehensive review and a meta-analysis of the recent progress in this subfield. Specifically, we first introduce the fundamentals of deep learning methods which arefrequently adopted for change detection. Secondly, we present the details of the meta-analysis conducted to examine the status of change detection DL studies. Then, we focus on deep learning-based change detection methodologies for remote sensing images by giving a general overview of the existing methods. Specifically, these deep learning-based methods were classified into three groups; fully supervised learning-based methods, fully unsupervised learning-based methods and transfer learning-based techniques. As a result of these investigations, promising new directions were identified for future research. This study will contribute in several ways to our understanding of deep learning for change detection and will provide a basis for further research.

研究の動機と目的

• リモートセンシング画像における変化検出のためのディープラーニングの最近の進展を体系的にレビューおよびメタアナリシスすること。
• ディープラーニングに基づく変化検出手法を、完全教師あり、完全教師なし、およびトランスファーラーニングベースのアプローチという3つの主要なパラダイムに分類・分析すること。
• 現在の手法における主な課題、特に手動アノテーションの高コストと弱教師あり設定における性能の限界を特定すること。
• 2つの有望な今後の研究分野を提案する：深層強化学習と弱教師あり変化検出。
• 最新技術を統合し、未解決の課題を強調することで、今後の研究に体系的な基盤を提供すること。

提案手法

• peer-reviewedな論文を対象として、リモートセンシングにおけるディープラーニングと変化検出の分野のメタアナリシスを実施し、手法の分類と性能トレンドに焦点を当てた。
• ディープラーニングに基づく変化検出手法を3つのグループに分類：完全教師あり学習、完全教師なし学習、トランスファーラーニングベースの技術。
• 二時相画像ペアにおける特徴学習のための、オートエンコーダー、シameseネットワーク、畳み込みニューラルネットワーク（CNNs）といった主要なディープラーニングアーキテクチャをレビューした。
• シameseネットワークにおける対照的損失（contrastive loss）とトライオレット損失（triplet loss）の使用を分析し、変化検出のための判別的特徴を学習する仕組みを検討した。
• 変化検出を段階的意思決定プロセスとしてモデル化することで、強化学習および深層強化学習（DRL）の統合を検討した。
• 完全にアノテートされたデータセットに依存するのを減らすために、不完全・不正確・不正確な監視（incomplete, inexact, and inaccurate supervision）を含む弱教師あり学習（WSL）戦略を評価した。

実験結果

リサーチクエスチョン

• RQ1 リモートセンシング画像の変化検出における最近の手法で、主流となっているディープラーニングアーキテクチャと学習パラダイムは何か？
• RQ2 完全教師あり、完全教師なし、およびトランスファーラーニングベースの手法は、実世界のリモートセンシングデータへの適用性と性能の観点から、どのように比較されるか？
• RQ3 弱教師あり学習アプローチにおける主な制限要因は何か、特に局所化精度とラベルノイズの観点から。
• RQ4 深層強化学習は、検出プロセスを段階的意思決定問題としてモデル化することで、どのように変化検出を改善できるか？
• RQ5 リモートセンシングにおけるディープラーニングベースの変化検出を進歩させるにあたり、最も有望な今後の研究分野は何か？

主な発見

• ディープラーニングに基づく変化検出手法は、大規模なリモートセンシングデータから階層的・複雑な表現を自動で学習できるため、従来の手作業特徴抽出手法を著しく上回る性能を発揮する。
• 完全教師ありディープラーニング手法は高い精度を達成するが、大規模な完全アノテート済みトレーニングデータを必要とし、収集に費用と時間がかかる。
• 完全教師なし手法、たとえば対照的損失を用いたオートエンコーダーやシameseネットワークは、真のラベルが不要な状態で意味のある表現を学習できるという強力な可能性を示している。
• トランスファーラーニングベースの手法は、事前学習済みモデルを新しいデータセットやセンサーに適応させることで、リソースが限られた状況でも大規模なラベル付きデータの必要性を低減するのに効果的である。
• 弱教師あり学習はこの分野でまだ未発達であり、現在の手法は特に複雑な都市部やごみごみとした背景において、正確な変化領域の局所化に苦労している。
• 深層強化学習は、変化領域の予測を段階的に改善するためのアクションの系列として検出プロセスをモデル化するという、新たなフレームワークを提供するが、リモートセンシング分野ではまだほとんど研究が進んでいない。