[논문 리뷰] A Novel Uncertainty-aware Collaborative Learning Method for Remote Sensing Image Classification Under Multi-Label Noise.

Ahmet Aksoy, Mahdyar Ravanbakhsh외 2명|arXiv (Cornell University)|2021. 05. 12.

Remote-Sensing Image Classification참고 문헌 16인용 수 3

한 줄 요약

이 논문은 입력에 따라 변하는 다중 레이블 노이즈 상황에서 원격 감지 영상에 대한 딥 네ural 네트워크 훈련을 위한 아키텍처에 종속되지 않는 새로운 방법인 일치 협동 다중 레이블 학습(CCML)을 제안한다. 그룹 라소를 통한 불확실성 추정, 이질성 학습을 통한 특징 다양성 확보, 레이블 뒤집기 및 랭킹 스왑을 통한 보정을 통해 CCML은 IR-BigEarthNet 데이터셋에서 극단적인 노이즈 비율 조건에서도 강건한 성능을 달성한다.

ABSTRACT

In remote sensing (RS), collecting a large number of reliable training images annotated by multiple land-cover class labels for multi-label classification (MLC) is time-consuming and costly. To address this problem, the publicly available thematic products are often used for annotating RS images with zero-labeling cost. However, in this case the training set can include noisy multi-labels that distort the learning process, resulting in inaccurate predictions. This paper proposes an architect-independent Consensual Collaborative Multi-Label Learning (CCML) method to train deep classifiers under input-dependent (heteroscedastic) multi-label noise in the MLC problems. The proposed CCML identifies, ranks, and corrects noisy multi-label images through four main modules: 1) group lasso module; 2) discrepancy module; 3) flipping module; and 4) swap module. The group lasso module detects the potentially noisy labels by estimating the label uncertainty based on the aggregation of two collaborative networks. The discrepancy module ensures that the two networks learn diverse features, while obtaining the same predictions. The flipping module corrects the identified noisy labels, and the swap module exchanges the ranking information between the two networks. The experiments conducted on the multi-label RS image archive IR-BigEarthNet confirm the robustness of the proposed CCML under extreme multi-label noise rates.

연구 동기 및 목표

• 원격 감지 영상 분류에서 비용과 시간이 많이 소요되는 다중 레이블 애너테이션 문제를 해결하기 위해.
• 입력에 따라 변하는(이종분산형) 다중 레이블 노이즈가 높은 비율로 존재하는 환경에서도 강건한 성능을 유지할 수 있는 방법을 개발하기 위해.
• 아키텍처 수정 없이도 노이즈 감지, 랭킹 매칭, 보정을 가능하게 하기 위해.
• 두 네트워크 간 협동 학습을 유지하면서 예측 일致성과 특징 다양성을 확보하기 위해.
• 실제 원격 감지 데이터셋에서 노이즈가 있는 주제 제품 애너테이션을 가진 환경에서 방법의 효과성을 검증하기 위해.

제안 방법

• 그룹 라소 모듈은 두 개의 협동 네트워크에서의 예측을 집계하여 레이블 불확실성을 추정함으로써, 잠재적으로 노이즈가 있는 레이블을 식별한다.
• 이질성 모듈은 두 네트워크 간의 특징 다양성을 강제하면서도 일관된 예측을 보장함으로써 모델의 강건성을 향상시킨다.
• 뒤집기 모듈은 공감에 기반하여 더 가능성 높은 레이블 조합으로 노이즈가 있는 레이블을 교체함으로써 보정한다.
• 스왑 모듈은 두 네트워크 간에 랭킹 정보를 교환하여 레이블 보정 정확도와 모델 캘리브레이션을 향상시킨다.
• 이 방법은 아키텍처에 종속되지 않으며, 원격 감지 영상 분류에 사용 가능한 어떤 딥 러닝 백본과도 통합 가능하다.
• 프레임워크는 분류, 일관성, 불확실성 정규화를 통합한 공동 손실을 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 어떻게 딥 러닝 모델을 원격 감지 영상 분류에서 입력에 따라 변하는 다중 레이블 노이즈에 강건하게 만들 수 있는가?
• RQ2 아키텍처 제약 없이 협동 학습 프레임워크가 노이즈가 있는 다중 레이블 애너테이션을 효과적으로 감지, 랭킹 매칭, 보정할 수 있는가?
• RQ3 그룹 라소를 통한 불확실성 추정이 극단적인 노이즈 비율 조건에서 레이블 보정 향상에 얼마나 기여하는가?
• RQ4 두 네트워크 간의 특징 다양성 강제가 노이즈가 있는 지도 학습 환경에서 모델 일반화에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 노이즈가 있는 주제 레이블을 가진 실세계 원격 감지 데이터셋에서 기존의 노이즈 강건 학습 방법을 초월하는가?

주요 결과

• CCML은 극단적인 다중 레이블 노이즈 비율 조건에서도 IR-BigEarthNet에서 최신 기술 수준의 성능을 달성하며, 뛰어난 강건성을 입증하였다.
• 이 방법은 노이즈 비율이 70%를 초과하는 상황에서도 효과적으로 노이즈가 있는 레이블을 감지하고 보정하여 분류 정확도를 크게 향상시켰다.
• 그룹 라소 모듈은 두 개의 협동 네트워크 간의 공감을 활용하여 불확실한 레이블을 성공적으로 식별하였다.
• 이질성 모듈은 일관된 예측을 유지하면서도 다양한 특징 학습을 촉진함으로써 모델 일반화 능력을 향상시켰다.
• 스왑 및 뒤집기 모듈은 함께 작용하여 레이블 보정 품질을 향상시켜 노이즈가 있는 훈련 데이터에서 더 신뢰할 수 있는 예측을 가능하게 하였다.
• 실험 결과는 CCML이 심각한 레이블 노이즈 조건에서도 다양한 평가 지표에서 높은 성능 유지를 유지함을 확인하였다.