[論文レビュー] Building Change Detection for Remote Sensing Images Using a Dual Task Constrained Deep Siamese Convolutional Network Model

Yi Liu, Chao Pang+3 more|arXiv (Cornell University)|Sep 17, 2019

Remote-Sensing Image Classification参考文献 11被引用数 18

ひとこと要約

本稿では、リモートセンシング画像における建物変化検出のための二重タスク制約付き深層シアンプス畳み込みネットワーク（DTCDSCN）を提案する。変化検出とセマンティックセグメンテーションを同時に最適化することで特徴の識別性を向上させる。二重アテンションモジュールと修正されたフォーカルロスを統合することで、WHUデータセットにおいて最先端の性能を達成し、正確性、再現率、F1スコア、交差率（IoU）のすべての指標で先行手法を上回った。

ABSTRACT

In recent years, building change detection methods have made great progress by introducing deep learning, but they still suffer from the problem of the extracted features not being discriminative enough, resulting in incomplete regions and irregular boundaries. To tackle this problem, we propose a dual task constrained deep Siamese convolutional network (DTCDSCN) model, which contains three sub-networks: a change detection network and two semantic segmentation networks. DTCDSCN can accomplish both change detection and semantic segmentation at the same time, which can help to learn more discriminative object-level features and obtain a complete change detection map. Furthermore, we introduce a dual attention module (DAM) to exploit the interdependencies between channels and spatial positions, which improves the feature representation. We also improve the focal loss function to suppress the sample imbalance problem. The experimental results obtained with the WHU building dataset show that the proposed method is effective for building change detection and achieves a state-of-the-art performance in terms of four metrics: precision, recall, F1-score, and intersection over union.

研究の動機と目的

• 深層学習に基づく建物変化検出における特徴の識別性の欠如が、不完全な領域や不規則な境界を引き起こす問題に対処する。
• 変化検出ネットワークと二つのセマンティックセグメンテーションサブネットワークを同時に学習させることで、特徴表現を向上させる。
• チャネルおよび空間的依存関係をモデル化する二重アテンションモジュールを用いて、特徴の学習を強化する。
• 改善されたフォーカルロス関数を用いて、変化検出におけるクラスの不均衡を軽減する。
• マルチメトリック評価を用いて、建物変化検出ベンチマークで最先端の性能を達成する。

提案手法

• DTCDSCNモデルは、二つの時系列リモートセンシング画像からの特徴抽出を目的とした共有シアンプストランクと、変化検出ヘッドおよび二つの別個のセマンティックセグメンテーションヘッドから構成される。
• 二重アテンションモジュール（DAM）を組み込み、チャネル間および空間的位置間の相互依存関係を捉え、分類の前に特徴マップを精緻化する。
• 変化検出損失と二つのセグメンテーション損失を組み合わせたマルチタスク損失を用いて、エンドツーエンドで学習させ、識別性の高いオブジェクトレベルの表現を促進する。
• 変化検出ヘッドに修正されたフォーカルロスを適用し、背景ピクセルの優位性を低減し、まれな変化インスタンスの検出を向上させる。
• シアンプスネットワークからの特徴マップは、結合および精製モジュールを経由して処理され、最終予測が行われる。
• このアーキテクチャにより、変化検出とセマンティックセグメンテーションの共同最適化が可能となり、境界の正確性と完全性が向上する。

実験結果

リサーチクエスチョン

• RQ1 変化検出とセマンティックセグメンテーションの共同学習は、建物変化検出における特徴の識別性を向上させるか？
• RQ2 二重アテンションモジュールは、リモートセンシング画像における変化検出のための特徴表現をどのように向上させるか？
• RQ3 修正されたフォーカルロスは、変化検出タスクにおけるクラスの不均衡をどの程度軽減するか？
• RQ4 提案された二重タスク制約フレームワークは、正確性、再現率、F1スコアにおいて単一タスクモデルを上回るか？
• RQ5 既存の深層学習手法と比較して、本モデルはより完全で規則的な変化マップを生成できるか？

主な発見

• 提案されたDTCDSCNモデルは、WHU建物変化検出データセットにおいて、すべての四つの評価指標（正確性、再現率、F1スコア、交差率）で最先端の性能を達成した。
• セマンティックセグメンテーションを補助タスクとして統合することで、特徴の識別性が顕著に向上し、より完全で明確な変化領域が得られた。
• 二重アテンションモジュールは、チャネルおよび空間的位置間の長距離依存関係をモデル化することで、特徴表現の向上に寄与した。
• 改善されたフォーカルロスは、フォアグラウンドとバックグラウンドのクラスの不均衡の影響を効果的に低減し、実際の建物変化の検出精度を向上させた。
• アブレーションスタディの結果、二重タスク学習戦略およびDAMモジュールの両方が最適な性能を達成するために不可欠であることが確認された。
• ベースライン手法と比較して、ノイズアーチファクトが少なく、より規則的な境界を持つ変化検出マップを生成した。