[논문 리뷰] Wasserstein Adversarial Regularization (WAR) on label noise

Kilian Fatras, Bharath Bhushan Damodaran외 4명|arXiv (Cornell University)|2019. 04. 08.

Machine Learning and Data Classification참고 문헌 2인용 수 7

한 줄 요약

이 논문은 레이블 노이즈에 대한 강건성을 향상시키기 위해 클래스 유사도 기반의 기저 비용을 활용한 워샤르스키 거리(Wasserstein distance)를 사용하는 새로운 적대적 정규화 방법인 워샤르스키 적대적 정규화(WAR)를 제안한다. 클래스 관계를 정규화 기하학에 통합함으로써, 유사한 클래스들 사이의 결정 경계는 선택적으로 스무딩하면서도, 비유사한 클래스들 사이의 복잡성은 유지함으로써, CIFAR-10, CIFAR-100 및 노이즈가 있는 레이블 하에서의 의미적 세그멘테이션을 포함한 여러 벤치마크에서 최신 기법들을 능가한다.

ABSTRACT

Noisy labels often occur in vision datasets, especially when they are obtained from crowdsourcing or Web scraping. We propose a new regularization method, which enables learning robust classifiers in presence of noisy data. To achieve this goal, we propose a new adversarial regularization scheme based on the Wasserstein distance. Using this distance allows taking into account specific relations between classes by leveraging the geometric properties of the labels space. Our Wasserstein Adversarial Regularization (WAR) encodes a selective regularization, which promotes smoothness of the classifier between some classes, while preserving sufficient complexity of the decision boundary between others. We first discuss how and why adversarial regularization can be used in the context of label noise and then show the effectiveness of our method on five datasets corrupted with noisy labels: in both benchmarks and real datasets, WAR outperforms the state-of-the-art competitors.

연구 동기 및 목표

• 노이즈가 있는 레이블을 가진 데이터셋에서 딥 네URAL 네트워크를 훈련하는 데 도전하는 것, 이는 일반화 성능을 심각하게 악화시킬 수 있다.
• 클래스별 유사도에 적응하는 정규화 프레임워크를 개발하여, 유사한 클래스들 사이의 결정 경계를 선택적으로 스무딩하는 것.
• 청결한 검증 세트나 명시적 데이터 정제를 요구하지 않고 모델의 강건성을 향상시키는 것.
• 폐쇄 세트 및 개방 세트 레이블 노이즈 상황에서 기존 최신 기법들을 능가하는 것.

제안 방법

• WAR는 정상 샘플과 적대적 샘플의 예측 간의 이질성 측정으로 워샤르스키 거리를 사용함으로써 적대적 정규화를 확장한다.
• 워샤르스키 거리의 기저 비용은 클래스 유사도를 기반으로 설계되어, 정규화가 기하학적 특성과 클래스에 따라 달라지도록 한다.
• 사전 지식이나 학습된 유사도(예: word2vec 임베딩을 통해)를 비용 행렬에 통합하여 기대되는 레이블 혼동 패턴을 반영한다.
• 적대적 샘플은 워샤르스키 손실을 최대화하도록 생성되며, 모델은 이 손실을 최소화하도록 업데이트되어 강건성을 증진한다.
• 이 방법은 표준 딥 러닝 훈련 파이프라인과 호환되며, 다른 정규화 또는 손실 함수와도 조합할 수 있다.
• 외부 분포 샘플의 거부가 필요 없기 때문에, 개방 세트 노이즈 레이블 설정에 적합하다.

실험 결과

연구 질문

• RQ1 최적 운반 이론을 활용해 적대적 정규화를 어떻게 향상시킬 수 있으며, 이를 통해 레이블 노이즈와 클래스 관계를 더 잘 모델링할 수 있는가?
• RQ2 클래스 유사도 인식 정규화 체계는 높은 레이블 노이즈 비율 하에서도 일반화 성능 향상에 기여할 수 있는가?
• RQ3 WAR는 폐쇄 세트 및 개방 세트 노이즈 레이블 상황에서 최신 기법들과 비교해 어떻게 성능을 내는가?
• RQ4 사전 지식(예: 워드임베딩 또는 혼동 행렬을 통한)을 통해 클래스 혼동에 대한 이해를 어떻게 활용하면 모델의 강건성이 향상되는가?
• RQ5 WAR는 청결한 검증 세트나 데이터 정제 단계 없이도 높은 성능을 유지할 수 있는가?

주요 결과

• 40%의 레이블 노이즈가 있는 CIFAR-10 데이터셋에서, WAR는 Co-Teaching 및 Bootstrapped Cross-Entropy를 포함한 모든 경쟁 기법들을 능가하여, SVHN 및 ImageNet32의 개방 세트 노이즈 상황에서도 최고의 정확도를 기록했다.
• Potsdam 데이터셋에서의 의미적 세그멘테이션 작업에서, WAR는 word2vec 기반 클래스 유사도를 사용하여 전체 정확도가 Bootsoft보다 약간 낮아졌음에도 불구하고, 평균 F1 스코어에서 모든 베이스라인보다 높은 성능을 보였다.
• Fashion-MNIST 및 최대 40%의 레이블 노이즈가 있는 CIFAR-100에서, WAR는 모든 노이즈 수준과 평가 지표에서 최신 기법들을 일관되게 능가했다.
• 샘플 거부가 필요 없음에도 불구하고, 외부 분포 노이즈 샘플에 대해 뛰어난 성능을 기록함으로써 개방 세트 상황에서도 강건성을 입증했다.
• 시각적 분석 결과, WAR는 표준 적대적 정규화에서 흔히 발생하는 과도한 스무딩을 피하면서도, 세부적인 구분(예: 늑대-개 및 후시키 사이의 차이)을 더 잘 유지하는 것으로 나타났다.
• 절단 분석 결과, 기저 비용의 선택이 성능에 상당한 영향을 미치며, word2vec에서 유도된 유사도가 가장 우수한 성능을 내는 것으로 확인되었다.