[논문 리뷰] Unsupervised Self-training Algorithm Based on Deep Learning for Optical Aerial Images Change Detection

Yuan Zhou, Xiangrui Li|arXiv (Cornell University)|2020. 10. 15.

Remote-Sensing Image Classification참고 문헌 47인용 수 8

한 줄 요약

이 논문은 전통적인 방법(예: 변화 벡터 분석)에서 유도된 가짜 레이블을 사용하는 교사-학생 CNN 프레임워크를 기반으로 한 비지도 자기학습 알고리즘(USTA)을 제안한다. 교사 네트워크와 고전적 기법에서 유도된 가짜 레이블을 함께 사용하고, 노이즈가 있는 레이블을 억제하기 위해 영상 필터를 적용함으로써, 수동 레이블이 전혀 필요 없이도 최신 기술 수준(SOTA)의 성능을 달성한다. 이는 실제 데이터셋에서 기존의 비지도 및 지도 학습 방법들을 능가한다.

ABSTRACT

Optical aerial images change detection is an important task in earth observation and has been extensively investigated in the past few decades. Generally, the supervised change detection methods with superior performance require a large amount of labeled training data which is obtained by manual annotation with high cost. In this paper, we present a novel unsupervised self-training algorithm (USTA) for optical aerial images change detection. The traditional method such as change vector analysis is used to generate the pseudo labels. We use these pseudo labels to train a well designed convolutional neural network. The network is used as a teacher to classify the original multitemporal images to generate another set of pseudo labels. Then two set of pseudo labels are used to jointly train a student network with the same structure as the teacher. The final change detection result can be obtained by the trained student network. Besides, we design an image filter to control the usage of change information in the pseudo labels in the training process of the network. The whole process of the algorithm is an unsupervised process without manually marked labels. Experimental results on the real datasets demonstrate competitive performance of our proposed method.

연구 동기 및 목표

• 고해상도 옵티컬 항공 이미지의 지도 학습 기반 변화 탐지에서 수동 레이블의 높은 비용 문제를 해결하기 위해.
• 레이블 데이터에 의존하지 않으면서도 높은 탐지 정확도를 유지하는 비지도 방법을 개발하기 위해.
• 고전적 방법과 훈련된 교사 네트워크에서 유도된 가짜 레이블을 활용하여 변화 탐지의 정확도와 강인성을 향상시키기 위해.
• 훈련 중에 노이즈가 있거나 잘못된 가짜 레이블의 영향을 줄이기 위해 새로운 영상 필터링 메커니즘을 도입하기 위해.
• 학생-교사 CNN 아키텍처에서 이중 소스 가짜 레이블을 활용한 자기학습 전략의 효과를 검증하기 위해.

제안 방법

• 다중시기 항공 이미지에 대해 변화 벡터 분석(CVA)을 사용하여 초기 가짜 레이블을 생성한다.
• 이러한 CVA로 생성된 가짜 레이블을 사용하여 교사 모델로 사용할 컨volutional 신경망(CNN)을 훈련시킨다.
• 훈련된 교사 네트워크가 동일한 이미지에 대해 개선된 가짜 레이블을 두 번째 세트로 생성한다.
• 교사 네트워크와 동일한 아키텍처를 가진 학생 CNN을, CVA와 교사 네트워크에서 유도된 두 가지 가짜 레이블을 함께 사용하여 훈련시킨다.
• 훈련 중에 영상 필터를 적용하여 잘못된 또는 노이즈가 있는 가짜 레이블을 억제함으로써 레이블 품질과 모델 일반화 능력을 향상시킨다.
• 최종 변화 탐지 결과는 훈련된 학생 네트워크의 추론 결과로부터 도출되며, 완전히 비지도 파이프라인을 완성한다.

실험 결과

연구 질문

• RQ1 이중 소스 가짜 레이블을 활용한 자기학습 프레임워크가 비지도 환경에서 변화 탐지 정확도를 향상시킬 수 있는가?
• RQ2 고전적 방법에서 생성된 가짜 레이블과 딥 러닝에서 생성된 가짜 레이블을 함께 사용할 경우 탐지 성능에 어떤 영향을 미치는가?
• RQ3 영상 필터링 메커니즘이 훈련 과정에서 잘못된 가짜 레이블의 영향을 어느 정도 줄일 수 있는가?
• RQ4 복합 특징 추출을 갖춘 제안된 교사-학생 CNN 아키텍처가 단일 브랜치 또는 이중 브랜치 대안보다 우월한가?
• RQ5 제안된 비지도 방법이 수동 레이블 없이도 지도 학습 방법과 비교해 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• SZADA/1 데이터셋에서 영상 필터를 적용한 결과 F1-측정치는 38.06%를 기록했고, 필터 없이 사용한 경우는 27.09%였으며, 이는 필터링이 잘못된 양성 결과를 줄이는 데 효과적임을 보여준다.
• TISZADOB/3 데이터셋에서 필터링을 적용한 경우 F1-측정치는 84.74%에 도달했고, 필터 없이 사용한 경우 71.62%보다 유의미하게 높았다.
• 공통 저수준 및 별도 고수준 브랜치를 갖춘 복합 특징 추출 모듈은 SZADA/1에서 F1-측정치 38.06%, TISZADOB/3에서 84.74%를 기록하여 단일 브랜치(33.67% F1) 및 이중 브랜치(33.67% F1) 구성보다 뛰어난 성능을 보였다.
• 필터링을 적용한 학생 네트워크는 TISZADOB/3에서 F1-측정치 88.45%를 기록했고, 필터 없이 사용한 경우 87.83%보다 略로 높아, 다양한 지표에서 일관된 향상이 있었음을 확인했다.
• 실제 세계 데이터셋에서 최신 기술 수준의 성능을 달성했으며, 비교 대비 기록된 최고의 F1-스코어를 기록하여, 이전의 비지도 및 지도 기반 기준선보다 뛰어난 성능을 입증했다.
• 제거 분석 결과, CVA와 교사 네트워크에서 생성된 가짜 레이블을 함께 사용할 경우 각각의 소스를 별도로 사용하는 것보다 더 우수한 성능을 내며, 오류 전파를 줄이고 레이블 일관성을 향상시킨다.