[論文レビュー] Multitask Learning for Large-scale Semantic Change Detection

Rodrigo Caye Daudt, Bertrand Le Saux+2 more|arXiv (Cornell University)|Oct 19, 2018

Remote-Sensing Image Classification参考文献 44被引用数 12

ひとこと要約

本論文は、290組以上の画像ペアを含む、大規模かつ超高解像度のセマンティック変化検出データセット（HRSCD）を初めて導入し、セマンティック変化検出における深層教師あり学習を可能にする。変化検出と土地被覆分類を同時に実行するマルチタスク畳み込みニューラルネットワーク（FCN）を提案し、ハイパーパramータチューニングを回避する順次学習スキームを用いることで、二値的およびセマンティック変化検出の両タスクで最先端の性能を達成する。

ABSTRACT

Change detection is one of the main problems in remote sensing, and is essential to the accurate processing and understanding of the large scale Earth observation data available through programs such as Sentinel and Landsat. Most of the recently proposed change detection methods bring deep learning to this context, but openly available change detection datasets are still very scarce, which limits the methods that can be proposed and tested. In this paper we present the first large scale high resolution semantic change detection (HRSCD) dataset, which enables the usage of deep learning methods for semantic change detection. The dataset contains coregistered RGB image pairs, pixel-wise change information and land cover information. We then propose several methods using fully convolutional neural networks to perform semantic change detection. Most notably, we present a network architecture that performs change detection and land cover mapping simultaneously, while using the predicted land cover information to help to predict changes. We also describe a sequential training scheme that allows this network to be trained without setting a hyperparameter that balances different loss functions and achieves the best overall results.

研究の動機と目的

• 非常に高解像度（VHR）リモートセンシング画像における大規模かつ完全にアノテートされたセマンティック変化検出データセットの不足を解決すること。
• データ不足によって制限されていたセマンティック変化検出における深層教師あり学習技術の応用を可能にすること。
• 変化検出と土地被覆分類を同時に学習することで性能を向上させるマルチタスク学習フレームワークの開発。
• マルチタスク学習における損失関数重みの手動ハイパーパramータチューニングを回避するための順次学習スキームの提案。
• 研究を前進させるためのベンチマークデータセットと手法の提供。

提案手法

• 291組のコアリジストされたRGB画像ペアを含み、ピxls単位の変化と土地被覆アノテーションが付与された、大規模かつ公開用のVHRセマンティック変化検出データセット（HRSCD）を提案。
• 共有ブランチとタスク固有ブランチを用いて、同時に変化検出と土地被覆分類を実行するマルチタスク畳み込みニューラルネットワーク（FCN）を設計。
• 予測された土地被覆特徴を文脈的事前知識として用い、セマンティックコンテキストを活用することで変化検出の性能を向上。
• ネットワークを最初に土地被覆分類で学習し、その後変化検出でエンドツーエンドにファインチューニングする順次学習スキームを採用し、複数の損失関数のバランスをとる必要を回避。
• スキップ接続、バッチ正則化、拡張畳み込みを含む標準的な深層学習技術を活用し、高解像度画像における特徴抽出を強化。
• データオーグメンテーションと訓練・テストセットの慎重な分割を実施し、特にデータセット内のノイズのあるラベルに対応して過学習を低減。

実験結果

リサーチクエスチョン

• RQ1 非常に高解像度リモートセンシング画像向けに、大規模かつ完全にアノテートされたセマンティック変化検出データセットを構築可能か？
• RQ2 土地被覆分類と変化検出を併せて学習することで、単独の変化検出学習に比べて性能が向上するか？
• RQ3 順次学習戦略により、マルチタスク学習における損失関数重みのハイパーパラメータチューニングの必要性を排除できるか？
• RQ4 トレーニングデータ量の増加に伴い、深層学習モデルのセマンティック変化検出性能はどのように変化するか？
• RQ5 VHR画像におけるラベルノイズとパララックス効果が、モデルの性能と一般化能力に及ぼす影響はどの程度か？

主な発見

• 提案されたHRSCDデータセットには291組の画像ペアと300万ピxlsを超えるアノテート済みピxlsが含まれており、VHR画像向けに公開されている最大のセマンティック変化検出データセットである。
• 変化検出と土地被覆分類を同時に実行するマルチタスクFCNは、Eppalock Lakeテストセットにおいて、セマンティック変化検出で総合正答率98.70%、カッパ係数97.52%を達成した。
• 順次学習スキームは、損失関数重みのハイパーパラメータチューニングを回避することで、標準的なマルチタスク学習を上回る一般化性能と性能を実現した。
• トレーニングデータ量の減少に伴い性能が予測可能な形で低下する：完全データ時（Kappa 25.49）→半分（23.34）→四分の一（22.18）に低下し、データ集約型の深層学習モデルに適したデータセットであることが確認された。
• 先行する最先端手法（例：ReCNN-LSTM）を上回り、Eppalock Lakeデータセットにおいて二値変化検出で99.35%の総合正答率と98.67%のカッパ係数を達成した。
• トレーニングおよびテストセットにおけるラベルノイズの影響により、実際のモデル性能は報告値よりも高い可能性がある。