[論文レビュー] Exploring Effective Priors and Efficient Models for Weakly-Supervised Change Detection

Zheng‐Hui Zhao, Lixiang Ru+1 more|arXiv (Cornell University)|Jul 20, 2023

Remote-Sensing Image Classification被引用数 7

ひとこと要約

本稿では、変化欠落および偽物変化の問題に対処するために、拡張されたPrior（DP）デコーダーとラベルゲート（LG）制約を備えた、弱教師付き変化検出（WSCD）のためのシンプルで効果的なトランスフォーマー基盤モデル、TransWCDを提案する。グローバルスケールおよびローカルスケールの事前知識を活用することで、TransWCD-DLはWHU-CDでSOTAを+9.55% F1スコア向上させ、複数の完全教師あり手法を上回る性能を発揮した。

ABSTRACT

Weakly-supervised change detection (WSCD) aims to detect pixel-level changes with only image-level annotations. Owing to its label efficiency, WSCD is drawing increasing attention recently. However, current WSCD methods often encounter the challenge of change missing and fabricating, i.e., the inconsistency between image-level annotations and pixel-level predictions. Specifically, change missing refer to the situation that the WSCD model fails to predict any changed pixels, even though the image-level label indicates changed, and vice versa for change fabricating. To address this challenge, in this work, we leverage global-scale and local-scale priors in WSCD and propose two components: a Dilated Prior (DP) decoder and a Label Gated (LG) constraint. The DP decoder decodes samples with the changed image-level label, skips samples with the unchanged label, and replaces them with an all-unchanged pixel-level label. The LG constraint is derived from the correspondence between changed representations and image-level labels, penalizing the model when it mispredicts the change status. Additionally, we develop TransWCD, a simple yet powerful transformer-based model, showcasing the potential of weakly-supervised learning in change detection. By integrating the DP decoder and LG constraint into TransWCD, we form TransWCD-DL. Our proposed TransWCD and TransWCD-DL achieve significant +6.33% and +9.55% F1 score improvements over the state-of-the-art methods on the WHU-CD dataset, respectively. Some performance metrics even exceed several fully-supervised change detection (FSCD) competitors. Code will be available at https://github.com/zhenghuizhao/TransWCD.

研究の動機と目的

• 画像レベルのラベルが画素レベルの予測とずれがちな弱教師付き変化検出（WSCD）における、変化の欠落および偽物変化という重要な課題に取り組む。
• WSCDに内在するグローバルスケールおよびローカルスケールの事前知識を活用する——具体的には、変化なしの画像レベルラベルは、変化のない画素を意味し、変化ありのラベルは変化領域の存在を示唆する。
• 今後のWSCD研究の強力なベースラインとして機能する、軽量かつ強力なトランスフォーマー基盤モデル、TransWCDを構築する。
• 事前知識に従うコンponents（DPデコーダーとLG制約）をTransWCDに統合し、弱教師付き学習下での汎化性能とロバスト性を向上させる。
• トランスフォーマーにおけるアテンションメカニズムとマルチスケール特徴の有用性を、特に従来のWSSSタスクと比較して検討する。

提案手法

• 変化ありの画像レベルラベルを持つサンプルにのみ、ドーナツ型畳み込みを適用して特徴をデコードする、拡張された事前知識（DP）デコーダーを提案する。一方、変化なしのラベルを持つサンプルについては、予測をすべて「変化なし」の画素レベルラベルに置き換える。
• モデルの画素レベル予測が画像レベルラベルと矛盾する際に活性化するユニットインパルス関数を用いた、特徴レベルのペナルティ機構であるラベルゲート（LG）制約を導入する。
• 追加のマルチスケールショートカットを備えない、シンプルでエンドツーエンドのトランスフォーマー基盤アーキテクチャとしてTransWCDを設計し、アテンションと予測に最終段階の特徴に依存する。
• DPデコーダーとLG制約をTransWCDに統合し、TransWCD-DLを構築することで、弱教師信号との整合性を高める。
• 複数段階のCAMを避けるために、最終層のクラスアクティベーションマップ（CAMs）を監督信号として使用し、複雑さを低減するとともに収束性を向上させる。
• 最終段階でスケーリング操作を適用してマルチスケール表現を達成し、トランスフォーマー構造における明示的なマルチスケールショートカットの必要性を排除する。

Figure 1: Difference between fully-supervised change detection (FSCD) and weakly-supervised change detection (WSCD). WSCD utilizes image-level binary labels ” Changed (Chg) ” and ” Unchanged (Unchg) ” as supervision signals instead of ground truths.

実験結果

リサーチクエスチョン

• RQ1 既存のWSCD手法が変化の欠落および偽物変化の率が高くなる理由は何か？ また、事前知識は、画像レベルラベルと画素レベル予測の不一致をどのように是正できるか？
• RQ2 変化なしの画像レベルラベルがすべての画素が変化なしであることを示すという、グローバルスケールおよびローカルスケールの事前知識は、WSCD性能をどの程度向上させ得るか？
• RQ3 WSSSタスクにおける既知の制限にもかかわらず、なぜクラスアクティベーションマップ（CAMs）はWSCDではうまく機能するのか？
• RQ4 トランスフォーマー基盤のWSCDモデルでは、マルチステージアテンションやショートカット接続が本当に必要なのか？ それとも、単純な最終段階CAMアプローチでより優れた性能が達成可能か？
• RQ5 時間的相関を持つ二時相リモートセンシングデータの本質的性質が、WSCDにおけるアテンションメカニズムの有効性にどのように影響を与えるか？

主な発見

• TransWCD-DLはWHU-CDデータセットでSOTA手法を+9.55% F1スコア向上させ、弱教師付き学習への事前知識の統合の有効性を実証した。
• 提案されたTransWCDモデル単体でもSOTAを+6.33% F1スコア向上させ、シンプルで洗練されたトランスフォーマー構造がWSCDの強力なベースラインとして機能できることを示した。
• DPデコーダーは、変化なしの画像に対して予測を抑制し、画像レベルラベルが変化なしの場合にすべて「変化なし」のラベルに置き換えることで、偽物変化の発生を顕著に低減した。
• LG制約は、画像レベルラベルと画素レベル出力の整合性を強制することで、誤検出（ファルス・ポジティブ）および誤検出（ファルス・ネガティブ）を効果的に抑制した。
• 最終段階のCAMsは、10,000イテレーション早く収束し、マルチステージCAMsよりも1.61%高いF1スコアを達成した。これは、トランスフォーマー基盤のWSCDにおいて、追加のマルチスケールショートカットが不要であることを示唆している。
• 特にLEVIR-CDのようなデータセットにおける小スケールの変化ターゲットに対する優れた性能は、今後の研究において、リモートセンシングにおける微細で疎な変化パターンの処理に注力する必要があることを強調している。

Figure 2: Problem of change missing and fabricating in WSCD. False positives and false negatives are highlighted in red and blue, respectively. The 1st row illustrates the phenomenon of change fabricating in WCDNet [ 12 ] and FCD-GAN [ 14 ] : the image-level label suggests no changes, but changed pi