[논문 리뷰] Exploring Effective Priors and Efficient Models for Weakly-Supervised Change Detection

Zheng‐Hui Zhao, Lixiang Ru외 1명|arXiv (Cornell University)|2023. 07. 20.

Remote-Sensing Image Classification인용 수 7

한 줄 요약

이 논문은 변화 누락과 위조 문제를 해결하기 위해 확장된 사전 지식(확장된 프리디케이터) 디코더와 레이블 게이팅된 제약 조건을 통합한 단순하면서도 효과적인 트랜스포머 기반 모델인 TransWCD를 제안한다. 전역적이고 국소적인 사전 지식을 활용함으로써 TransWCD-DL은 WHU-CD에서 최신 기술 대비 +9.55%의 F1 스코어 향상을 달성하며, 여러 전면 학습 기반 방법을 능가한다.

ABSTRACT

Weakly-supervised change detection (WSCD) aims to detect pixel-level changes with only image-level annotations. Owing to its label efficiency, WSCD is drawing increasing attention recently. However, current WSCD methods often encounter the challenge of change missing and fabricating, i.e., the inconsistency between image-level annotations and pixel-level predictions. Specifically, change missing refer to the situation that the WSCD model fails to predict any changed pixels, even though the image-level label indicates changed, and vice versa for change fabricating. To address this challenge, in this work, we leverage global-scale and local-scale priors in WSCD and propose two components: a Dilated Prior (DP) decoder and a Label Gated (LG) constraint. The DP decoder decodes samples with the changed image-level label, skips samples with the unchanged label, and replaces them with an all-unchanged pixel-level label. The LG constraint is derived from the correspondence between changed representations and image-level labels, penalizing the model when it mispredicts the change status. Additionally, we develop TransWCD, a simple yet powerful transformer-based model, showcasing the potential of weakly-supervised learning in change detection. By integrating the DP decoder and LG constraint into TransWCD, we form TransWCD-DL. Our proposed TransWCD and TransWCD-DL achieve significant +6.33% and +9.55% F1 score improvements over the state-of-the-art methods on the WHU-CD dataset, respectively. Some performance metrics even exceed several fully-supervised change detection (FSCD) competitors. Code will be available at https://github.com/zhenghuizhao/TransWCD.

연구 동기 및 목표

• 이미지 수준 레이블이 픽셀 수준 예측과 자주 일치하지 않는 약한 감독 변화 감지(WSCD)에서 변화 누락과 위조 문제를 해결하는 데 초점을 맞춘다.
• WSCD에서 내재된 전역적 및 국소적 사전 지식을 활용한다. 특히, 변화가 없는 이미지 수준 레이블은 변화가 없는 픽셀 수준 예측을 의미하고, 변화가 있는 레이블은 변화 영역의 존재를 암시한다.
• 향후 WSCD 연구를 위한 강력한 베이스라인으로 기능할 수 있는 경량이면서도 강력한 트랜스포머 기반 모델인 TransWCD를 개발한다.
• TransWCD에 사전 지식 유도 성분(DP 디코더 및 LG 제약 조건)을 통합하여, 약한 감독 하에서의 일반화 및 강인성을 향상시킨다.
• 어텐션 메커니즘과 다중 척도 특징의 WSCD 적용 가능성을 탐구하며, 특히传통적인 WSSS 작업과의 비교를 통해 분석한다.

제안 방법

• 변화가 있는 이미지 수준 레이블이 있는 샘플에만 확장된 컨볼루션을 적용하는 확장된 사전 지식(DP) 디코더를 제안한다. 변화가 없는 샘플의 경우, 예측을 전부 변화가 없는 픽셀 수준 레이블로 대체한다.
• 이미지 수준 레이블과 픽셀 수준 예측 간의 모순이 발생할 경우 활성화되는 단위 인파르스 함수를 사용하는 기능 수준의 페널티 메커니즘인 레이블 게이팅(LG) 제약 조건을 도입한다.
• 추가적인 다중 척도 스킵 연결 없이, 단순한 엔드 투 엔드 트랜스포머 아키텍처인 TransWCD를 설계하며, 어텐션과 예측에 마지막 단계의 특징을 기반으로 한다.
• TransWCD에 DP 디코더와 LG 제약 조건을 통합하여 모델의 약한 감독 신호와의 일치도를 향상시키는 TransWCD-DL을 구성한다.
• 다단계 CAM을 피하기 위해 마지막 레이어의 클래스 활성화 맵(CAMs)을 감독 신호로 활용함으로써 복잡도를 감소시키고 수렴 성능를 향상시킨다.
• 최종 단계에서 스케일링 연산을 적용하여 다중 척도 표현을 달성함으로써 트랜스포머 아키텍처에서 명시적인 다단계 스킵 연결이 필요 없도록 한다.

Figure 1: Difference between fully-supervised change detection (FSCD) and weakly-supervised change detection (WSCD). WSCD utilizes image-level binary labels ” Changed (Chg) ” and ” Unchanged (Unchg) ” as supervision signals instead of ground truths.

실험 결과

연구 질문

• RQ1 기존의 WSCD 방법들이 높은 비율의 변화 누락과 위조 문제를 겪는 이유는 무엇이며, 사전 지식은 이미지 수준 레이블과 픽셀 수준 예측 간의 불일치를 어떻게 완화할 수 있는가?
• RQ2 전역적 및 국소적 사전 지식(예: 변화가 없는 이미지 수준 레이블이 전부 변화가 없는 픽셀 수준 예측을 의미하는 것)은 WSCD 성능 향상에 얼마나 기여하는가?
• RQ3 기존의 약한 감독 밀도 예측 작업(WSSS)에서 알려진 한계가 있음에도 불구하고, 왜 클래스 활성화 맵(CAMs)은 WSCD에서는 잘 작동하는가?
• RQ4 트랜스포머 기반 WSCD 모델에서 다단계 어텐션 또는 스킵 연결이 반드시 필요한가, 아니면 단순한 마지막 단계 CAM 접근 방식만으로도 우수한 성능을 낼 수 있는가?
• RQ5 쌍방향 시간적 정보를 갖는 이중 시점 원격 감지 데이터의 본질적인 특성은 WSCD에서 어텐션 메커니즘의 효과성에 어떤 영향을 미치는가?

주요 결과

• TransWCD-DL은 WHU-CD 데이터셋에서 최신 기술 대비 +9.55%의 F1 스코어 향상을 달성하여, 약한 감독 학습에 사전 지식을 통합하는 것이 효과적임을 입증한다.
• 제안된 TransWCD 모델만으로도 최신 기술 대비 +6.33%의 F1 스코어 향상을 달성하여, 단순하면서도 잘 설계된 트랜스포머 아키텍처가 WSCD의 강력한 베이스라인으로 기능할 수 있음을 시사한다.
• DP 디코더는 변화가 없는 이미지에 대한 예측을 억제함으로써 변화 위조 문제를 크게 줄이며, 이미지 수준 레이블이 변화가 없을 경우 전부 변화가 없는 레이블로 대체한다.
• LG 제약 조건은 이미지 수준 레이블과 픽셀 수준 출력 간의 일관성을 강제함으로써 잘못된 예측을 효과적으로 페널티 처리하여, 거짓 양성 및 거짓 음성 예측을 감소시킨다.
• 마지막 단계의 CAMs는 다단계 CAMs보다 10,000 반복 더 빨리 수렴하며, F1 스코어도 1.61% 높게 기록하여, 트랜스포머 기반 WSCD에서 추가적인 다중 척도 스킵 연결이 불필요함을 시사한다.
• 특히 LEVIR-CD와 같은 데이터셋에서 소규모 변화 목표물에 대해 뛰어난 성능을 보임으로써, 향후 원격 감지에서 미세한, 희박한 변화 패턴을 다루는 연구의 필요성을 강조한다.

Figure 2: Problem of change missing and fabricating in WSCD. False positives and false negatives are highlighted in red and blue, respectively. The 1st row illustrates the phenomenon of change fabricating in WCDNet [ 12 ] and FCD-GAN [ 14 ] : the image-level label suggests no changes, but changed pi