[論文レビュー] Fully Transformer Network for Change Detection of Remote Sensing Images

Tianyu Yan, Zifu Wan+1 more|arXiv (Cornell University)|Oct 3, 2022

Remote-Sensing Image Classification被引用数 7

ひとこと要約

本論文は、長距離依存関係を捉えるためにシアン・スウィン変換器を活用し、ピラミッド構造とプログレッシブアテンションモジュール（PAM）を用いて多層特徴統合を実現する、リモートセンシング画像の変化検出のための完全なトランスフォーマー・ネットワーク（FTN）を提案する。本手法は4つの公的ベンチマークで最先端の性能を達成し、WHU-CDでは最大92.19%、LEVIR-CDでは91.01%のF1スコアを達成した。

ABSTRACT

Recently, change detection (CD) of remote sensing images have achieved great progress with the advances of deep learning. However, current methods generally deliver incomplete CD regions and irregular CD boundaries due to the limited representation ability of the extracted visual features. To relieve these issues, in this work we propose a novel learning framework named Fully Transformer Network (FTN) for remote sensing image CD, which improves the feature extraction from a global view and combines multi-level visual features in a pyramid manner. More specifically, the proposed framework first utilizes the advantages of Transformers in long-range dependency modeling. It can help to learn more discriminative global-level features and obtain complete CD regions. Then, we introduce a pyramid structure to aggregate multi-level visual features from Transformers for feature enhancement. The pyramid structure grafted with a Progressive Attention Module (PAM) can improve the feature representation ability with additional interdependencies through channel attentions. Finally, to better train the framework, we utilize the deeply-supervised learning with multiple boundaryaware loss functions. Extensive experiments demonstrate that our proposed method achieves a new state-of-the-art performance on four public CD benchmarks. For model reproduction, the source code is released at https://github.com/AI-Zhpp/FTN.

研究の動機と目的

• 制限された特徴表現による変化領域の不完全さと不規則な境界を是正すること。
• 変換器の長距離依存関係モデリングを活用してグローバルコンテキスト理解のための特徴抽出を向上させること。
• プログレッシブアテンションモジュール（PAM）を備えたピラミッド構造により、マルチスケール特徴表現を強化すること。
• 複数の境界認識損失関数を用いた深層監督学習により、学習の安定性と境界精度を向上させること。
• 多数の公的リモートセンシング画像変化検出ベンチマークで最先端の性能を達成すること。

提案手法

• リモートセンシング画像ペアから二段階の時系列特徴を抽出するために、事前学習済みスウィン変換器を用いたシアンネットワークを採用する。
• 特徴の和および差演算を適用して変化領域を強調し、完全性を向上させる。
• 多層特徴の統合とチャネル間依存性の強化を目的として、プログレッシブアテンションモジュール（PAM）を備えたピラミッド構造を採用する。
• 段階的な特徴統合を実現するマルチスケールデコーダーを統合し、異なる解像度での変化マップを精緻化する。
• 重み付きバイナリクロスエントロピー（WBCE）、SSIM、SIoU損失関数を組み合わせた深層監督学習を実装し、境界精度とモデル一般化性能を向上させる。
• デコーダーに深さn=2〜8のスウィン変換器ブロックを採用し、n=4の際に最適な性能が得られた。

実験結果

リサーチクエスチョン

• RQ1 高分解能リモートセンシング画像の変化検出において、完全なトランスフォーマー基盤アーキテクチャは、CNNベースの手法を上回るグローバルコンテキストの捉え方を可能にするか？
• RQ2 PAMを用いたピラミッド特徴統合は、変化検出における特徴表現と境界の一貫性をどのように向上させるか？
• RQ3 複数の境界認識損失関数は、検出された変化領域の精度と規則性をどの程度向上させるか？
• RQ4 既存の手法と比較して、本手法はより高解像度の入力にどの程度スケーリング可能か？
• RQ5 提案されたフレームワークは、多様なリモートセンシング画像変化検出ベンチマークで最先端の性能を達成できるか？

主な発見

• 提案されたFTNは、512×512解像度の入力でWHU-CDデータセットにおいて92.19%という新たな最先端F1スコアを達成した。
• LEVIR-CDでは、WBCE+SSIM+SIoU損失を組み合わせた場合、F1スコアが91.01%に達し、従来手法を上回った。
• PAMを備えたピラミッド構造は、単純な特徴統合ベースラインと比較してF1スコアを2%以上向上させ、定性的な結果でもより規則的かつ完全な変化境界が明確に可視化された。
• デコーダーにn=4のスウィン変換器ブロックを採用した場合が、性能と計算コストのバランスが最良であり、n=8では計算量の増加に伴い性能がわずかに低下した。
• 本モデルは高解像度入力に対しても効果的にスケーリングされ、256×256から512×512への変換で一貫した性能向上が得られ、FLOPsは45Gから198Gに増加した。
• WBCE、SSIM、SIoU損失の組み合わせが最良の性能をもたらし、F1スコアはBCE単体の88.75%からすべての損失関数を組み合わせた91.01%に上昇した。これはマルチロス監督の有効性を示している。