[論文レビュー] FCCDN: Feature Constraint Network for VHR Image Change Detection

Pan Chen, Danfeng Hong+4 more|arXiv (Cornell University)|May 23, 2021

Remote-Sensing Image Classification被引用数 4

ひとこと要約

本稿では、非常に高解像度（VHR）画像の変化検出のための特徴制約ネットワークであるFCCDNを提案する。FCCDNは、二重エンコーダ・デコーダアーキテクチャ、非局所特徴ピラミッドネットワーク、密な特徴統合、自己教師付き学習（SSL）に基づく戦略を用いて特徴学習を向上させる。FCCDNは、LEVIR-CD（IoU: 0.8569、F1: 0.9229）およびWHU（IoU: 0.8820、F1: 0.9373）で最先端性能を達成し、教師なしのバイテンポラルセマンティックセグメンテーションを可能にする。

ABSTRACT

Change detection is the process of identifying pixelwise differences in bitemporal co-registered images. It is of great significance to Earth observations. Recently, with the emergence of deep learning (DL), the power and feasibility of deep convolutional neural network (CNN)-based methods have been shown in the field of change detection. However, there is still a lack of effective supervision for change feature learning. In this work, a feature constraint change detection network (FCCDN) is proposed. We constrain features both in bitemporal feature extraction and feature fusion. More specifically, we propose a dual encoder-decoder network backbone for the change detection task. At the center of the backbone, we design a nonlocal feature pyramid network to extract and fuse multiscale features. To fuse bitemporal features in a robust way, we build a dense connection-based feature fusion module. Moreover, a self-supervised learning-based strategy is proposed to constrain feature learning. Based on FCCDN, we achieve state-of-the-art performance on two building change detection datasets (LEVIR-CD and WHU). On the LEVIR-CD dataset, we achieve an IoU of 0.8569 and an F1 score of 0.9229. On the WHU dataset, we achieve an IoU of 0.8820 and an F1 score of 0.9373. Moreover, for the first time, the acquisition of accurate bitemporal semantic segmentation results is achieved without using semantic segmentation labels. This is vital for the application of change detection because it saves the cost of labeling.

研究の動機と目的

• 深層学習ベースのVHR画像変化検出における有効な教師信号の欠如に対処すること。
• 変化検出タスクからの暗黙的な制約を組み込むことで、バイテンポラル特徴抽出と統合を向上させること。
• 密接接続型特徴統合モジュールを導入することで、低レベル特徴統合に起因するノイズを低減すること。
• ラベル付きセグメンテーションデータを必要とせずに、教師なしのバイテンポラルセマンティックセグメンテーションを可能にすること。
• 時間的変化にわたるセマンティッククラスの一貫性を活用して特徴学習を強化する自己教師付き学習戦略の開発

提案手法

• 共有重みを用いた二重エンコーダ・デコーダ（DED）バックボーンを設計し、バイテンポラル特徴の抽出と比較を実現することで、特徴の整合性を向上させる。
• 長距離依存性を捉え、マルチスケール特徴を効果的に統合するため、非局所特徴ピラミッドネットワーク（NL-FPN）を導入する。
• 複数スケールおよび層間の特徴を集約することで、特徴統合を強化する、密接接続型特徴統合モジュール（DFM）を提案する。
• バイテンポラル特徴をセマンティッククラスに割り当て、補助的セグメンテーションブランチを用いることで、全体の特徴学習を制約する自己教師付き学習（SSL）戦略を開発する。
• SSL戦略により、時間的変化にわたる同じセマンティッククラスに属する特徴は引き寄せられ、異なるクラスの特徴は引き離されるように制約を課す。
• 時間的変化にわたるセマンティッククラスの一貫性を活用することで、教師なしのバイテンポラルセマンティックセグメンテーション結果の生成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 教師付きセマンティックセグメンテーションラベルを必要とせずに、自己教師付き学習戦略が変化検出における特徴学習を向上させることができるか？
• RQ2 提案された特徴制約メカニズムは、バイテンポラル特徴抽出および統合のロバスト性と正確性をどのように向上させるか？
• RQ3 非局所構造および密接続構造を備えた二重エンコーダ・デコーダアーキテクチャは、VHR画像における変化検出性能をどの程度向上させるか？
• RQ4 提案手法は、教師なしの状態で正確なバイテンポラルセマンティックセグメンテーションマップを生成できるか？
• RQ5 自己教師付き学習戦略は、コントラスト学習と比較して、変化検出タスクにおける性能と一般化能力で優れているか？

主な発見

• FCCDNは、LEVIR-CDデータセットでmIoU 0.8569、F1スコア 0.9229を達成し、新たな最先端性能を樹立した。
• WHUデータセットでは、mIoU 0.8820、F1スコア 0.9373を達成し、異なるデータセット間での強力な一般化能力を示した。
• LEVIR-CDデータセットにおいて、SSLベースの戦略はコントラスト学習戦略と比較してmIoUを0.29%、F1スコアを0.16%向上させた。
• SECONDデータセットでは、SSLベースの戦略がコントラスト学習戦略をmIoU 0.2%、F1スコア 0.24%上回り、優れた特徴識別能力を示した。
• FCCDNは、初めて、任意のアノテート済みセグメンテーションラベルを一切使用せずに、正確なバイテンポラルセマンティックセグメンテーションを実現し、アノテーションコストを大幅に削減した。
• 提案手法は、密接接続型統合モジュールを用いることで、低レベル特徴統合に起因するノイズを効果的に低減し、特徴品質と検出精度を向上させた。