[論文レビュー] Urban Change Detection by Fully Convolutional Siamese Concatenate Network with Attention

Farnoosh Heidary, Mehran Yazdi+2 more|arXiv (Cornell University)|Jan 31, 2021

Remote-Sensing Image Classification参考文献 26被引用数 5

ひとこと要約

本稿では、非常に高分解能のリモートセンシング画像における都市部の変化検出のため、アテンション機構を統合した完全畳み込み型シアンプス連結ネットワーク（FC-Siam-Conc）を提案する。前処理にガウス型アテンションを統合し、学習可能なアテンションゲート層を導入することで、特徴表現を向上させ、OSCDおよびRIVER-CDデータセットで最先端の性能を達成し、都市部の土地利用変化の検出において優れた正確性と頑健性を示した。

ABSTRACT

Change detection (CD) is an important problem in remote sensing, especially in disaster time for urban management. Most existing traditional methods for change detection are categorized based on pixel or objects. Object-based models are preferred to pixel-based methods for handling very high-resolution remote sensing (VHR RS) images. Such methods can benefit from the ongoing research on deep learning. In this paper, a fully automatic change-detection algorithm on VHR RS images is proposed that deploys Fully Convolutional Siamese Concatenate networks (FC-Siam-Conc). The proposed method uses preprocessing and an attention gate layer to improve accuracy. Gaussian attention (GA) as a soft visual attention mechanism is used for preprocessing. GA helps the network to handle feature maps like biological visual systems. Since the GA parameters cannot be adjusted during network training, an attention gate layer is introduced to play the role of GA with parameters that can be tuned among other network parameters. Experimental results obtained on Onera Satellite Change Detection (OSCD) and RIVER-CD datasets confirm the superiority of the proposed architecture over the state-of-the-art algorithms.

研究の動機と目的

• 非常に高分解能のリモートセンシング（VHR RS）画像における正確な都市部の変化検出の課題に対処すること。
• ディープラーニングを活用することで、従来のピクセルベースおよびオブジェクトベースの変化検出手法の限界を克服すること。
• 生物学的視覚システムを模倣するアテンション機構を用いて、変化検出における特徴表現を向上させること。
• 完全自動で、エンド・ツー・エンドでトレーニング可能なフレームワークを都市部の変化検出に開発すること。
• トレーニング中に適応可能な学習可能なアテンションゲートを統合することで、従来のアテンション機構における固定パラメータの欠点を克服し、モデル性能を向上させること。

提案手法

• 本手法は、ペアドされた事前および事後のリモートセンシング画像を処理するため、完全畳み込み型シアンプス連結（FC-Siam-Conc）ネットワークアーキテクチャを採用する。
• ガウス型アテンション（GA）は、前処理段階でソフトな視覚的アテンション機構として適用され、顕著な特徴を強調し、生物学的視覚的注意を模倣する。
• 固定されたGAパラメータに代わって、アテンションゲート層を導入することで、チューナブルなアテンション重みを有するエンド・ツー・エンドのトレーニングを可能にする。
• 二つのブランチ（事前および事後の画像）からの特徴マップを連結することで、特徴空間内で直接的に変化パターンを学習する。
• 教師あり学習を用いて、正解の変化マップを最適化対象とし、ピクセル単位の分類を目的として、エンド・ツー・エンドでモデルをトレーニングする。
• アーキテクチャは、Onera Satellite Change Detection（OSCD）およびRIVER-CDという2つのベンチマークデータセットで評価され、F1スコアやIoUといった標準的な指標が用いられている。

実験結果

リサーチクエスチョン

• RQ1 既存の手法と比較して、アテンション機構を統合した完全畳み込み型シアンプスネットワークは、VHR RS画像における変化検出の正確性を向上させることができるか？
• RQ2 ガウス型アテンションは、変化検出における特徴表現の向上のための前処理ステップとして、どの程度有効であるか？
• RQ3 学習可能なアテンションゲート層を導入することで、固定アテンション機構と比較して、変化検出における性能が向上するか？
• RQ4 提案手法は、多様な都市部の変化検出シナリオにどの程度一般化可能か？
• RQ5 オブジェクトベースのセグメンテーションや手作業で設計された特徴に依存せずに、最先端の性能を達成できるか？

主な発見

• 提案されたアテンションゲートを備えたFC-Siam-Concネットワークは、OSCDデータセットで最先端の手法を上回り、より高いF1スコアとIoUを達成した。
• RIVER-CDデータセットでも、モデルは頑健な性能を示し、異なる都市環境や画像特性においても有効性が確認された。
• 前処理段階でのガウス型アテンションの統合により、特徴マップの品質が顕著に向上し、微細な変化の検出が改善された。
• 学習可能なアテンションゲート層により、トレーニング中に動的アテンション重みが設定され、より適応的かつ正確な特徴選択が可能になった。
• アブレーションスタディの結果、アテンションゲートおよびガウス型アテンションの両方のコンponentsが、最終的な性能向上に有意に寄与していることが確認された。
• 追加の後処理やオブジェクトベースの解析を必要とせず、優れた性能が達成されたことから、エンド・ツー・エンドの効率性が顕著に示された。