[논문 리뷰] A Consensual Collaborative Learning Method for Remote Sensing Image Classification Under Noisy Multi-Labels

Ahmet Aksoy, Mahdyar Ravanbakhsh외 2명|arXiv (Cornell University)|2021. 05. 12.

Text and Document Classification Technologies참고 문헌 21인용 수 11

한 줄 요약

이 논문은 원격 감지 영상 분류에서 노이즈가 많은 다중 레이블 주석 문제를 해결하기 위해 일관된 협동 다중 레이블 학습(CCML) 방법을 제안한다. 특징 다양성을 확보하기 위해 두 개의 협동 컨볼루션 신경망(CNN)과 불일치 모듈을 활용하고, 불확실성 추정을 위해 그룹 라소를 사용하며, 레이블 보정을 위해 플립 모듈을, 순위 교환을 위해 스왑 모듈을 도입함으로써 CCML은 잘못된 레이블과 누락된 레이블을 자동으로 식별하고 수정한다. 이는 ResNet 및 DenseNet 기반 모델에서 최대 50%의 고도로 합성된 노이즈 비율에서도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Collecting a large number of reliable training images annotated by multiple land-cover class labels in the framework of multi-label classification is time-consuming and costly in remote sensing (RS). To address this problem, publicly available thematic products are often used for annotating RS images with zero-labeling-cost. However, such an approach may result in constructing a training set with noisy multi-labels, distorting the learning process. To address this problem, we propose a Consensual Collaborative Multi-Label Learning (CCML) method. The proposed CCML identifies, ranks and corrects training images with noisy multi-labels through four main modules: 1) discrepancy module; 2) group lasso module; 3) flipping module; and 4) swap module. The discrepancy module ensures that the two networks learn diverse features, while obtaining the same predictions. The group lasso module detects the potentially noisy labels by estimating the label uncertainty based on the aggregation of two collaborative networks. The flipping module corrects the identified noisy labels, whereas the swap module exchanges the ranking information between the two networks. The experimental results confirm the success of the proposed CCML under high (synthetically added) multi-label noise rates. The code of the proposed method is publicly available at https://noisy-labels-in-rs.org

연구 동기 및 목표

• 주제 제품인 CLC나 GlobCover를 사용해 비용이 들지 않는 주석을 부여할 때 발생하는 원격 감지 영상 분류에서의 노이즈가 많은 다중 레이블 주석 문제를 해결하기 위해.
• 노이즈 유형에 대한 사전 가정 없이 잘못된 클래스 레이블과 누락된 레이블을 모두 탐지하고 수정할 수 있는 방법을 개발하기 위해.
• 고도의 레이블 노이즈 상황에서도 다중 레이블 분류 성능을 향상시킬 수 있는 강건하고 아키텍처에 종속되지 않는 프레임워크를 만들기 위해.
• 다중 레이블 원격 감지 응용 분야에서 딥러닝 모델에 악영향을 미치는 난수적 불확실성(레이블 노이즈)의 영향을 최소화하기 위해.

제안 방법

• CCML 프레임워크는 동일한 두 개의 CNN(f 및 g)을 사용하며, 공유된 가중치를 통해 특징 다양성을 확보하면서도 불일치 모듈을 통해 일관된 예측을 유지한다.
• 불일치 모듈은 중간 레이어의 특징 간 최대 평균 불일치(MMD) 손실을 통해 특징 다양성을 강제하고, 일관성 손실을 통해 유사한 최종 예측을 보장한다.
• 그룹 라소 모듈은 양 네트워크의 예측을 통합한 기반으로 샘플 단위 순위 손실을 계산하여 레이블 불확실성을 추정함으로써 노이즈가 있는 레이블을 식별할 수 있다.
• 플립 모듈은 높은 불확실성을 가진 레이블을 수정하기 위해 예측을 뒤집고, 스왑 모듈은 순위 정보를 교환하며 백프로파게이션에서 매우 노이즈가 많은 샘플을 제외시킨다.
• 이 방법은 이진 교차 엔트로피, 일관성 손실, 이질성 손실을 균형 있게 조합한 복합 손실 함수를 사용하며, 학습 가능한 가중치 λ1 및 λ2를 포함한다.
• 이 방법은 아키텍처에 종속되지 않으며, ResNet 및 DenseNet과 같은 다양한 백본 네트워크와 통합될 수 있다.

실험 결과

연구 질문

• RQ1 노이즈 유형에 대한 사전 가정 없이, 협동 학습 프레임워크가 원격 감지 영상에서 잘못된 다중 레이블 주석과 누락된 레이블을 효과적으로 탐지하고 수정할 수 있는가?
• RQ2 제안된 CCML 방법은 표준 딥러닝 기반 모델 대비 고도의 합성 레이블 노이즈 비율(예: 40–50%)에서 어떻게 성능을 발휘하는가?
• RQ3 불일치, 그룹 라소, 플립, 스왑 모듈과 같은 개별 구성 요소들이 CCML의 전체 성능에 얼마나 기여하는가?
• RQ4 CCML 방법은 ResNet 및 DenseNet과 같은 다양한 백본 아키텍처에서 노이즈가 많은 학습 조건에서도 강건성을 유지하는가?

주요 결과

• 50%의 주입된 노이즈 비율에서, ResNet 기반의 CCML은 기준 ResNet 모델 대비 정밀도가 25% 향상되고 F1 스코어가 10% 향상되었다.
• DenseNet 기반의 CCML는 50% 노이즈 비율에서 정밀도가 30% 향상되고 F1 스코어가 15% 향상되어 아키텍처 간 강건성을 입증하였다.
• 낮은 학습 샘플 수를 가진 클래스(예: ' Moor, heathland and sclerophyllous vegetation ')에서도 고노이즈 조건에서 기준 모델보다 뛰어난 성능을 유지하였다.
• 불일치 모듈과 스왑 모듈은 핵심 요소로 판명되었으며, 불일치 모듈을 제거하면 특징 다양성의 학습에 실패하여 협동 학습 원리를 약화시켰다.
• 그룹 라소 모듈은 다양한 노이즈 유형을 개별적으로 식별하는 데 필수적이었으며, 이 모듈을 제거하면 성능이 크게 떨어졌다.
• 플립 모듈은 지연 효과를 보였고, 제거하더라도 성능 저하가 크지 않아 학습 중 시기의 민감도가 낮다는 점에서 강건성을 보였다.