[논문 리뷰] Combating Label Noise in Deep Learning Using Abstention

Sunil Thulasidasan, Tanmoy Bhattacharya외 3명|arXiv (Cornell University)|2019. 05. 27.

Machine Learning and Data Classification참고 문헌 4인용 수 77

한 줄 요약

논문은 깊은 abstaining 분류기(DAC)를 도입하여 학습 및 추론 중 혼란스러운 샘플에 보류(거부)하여 라벨 노이즈에 강건하게 대응한다. 구조화된 노이즈와 비구조화된 노이즈를 포함하고, 자동 조정 거부 및 데이터 정제 기능을 제공한다.

ABSTRACT

We introduce a novel method to combat label noise when training deep neural networks for classification. We propose a loss function that permits abstention during training thereby allowing the DNN to abstain on confusing samples while continuing to learn and improve classification performance on the non-abstained samples. We show how such a deep abstaining classifier (DAC) can be used for robust learning in the presence of different types of label noise. In the case of structured or systematic label noise -- where noisy training labels or confusing examples are correlated with underlying features of the data-- training with abstention enables representation learning for features that are associated with unreliable labels. In the case of unstructured (arbitrary) label noise, abstention during training enables the DAC to be used as an effective data cleaner by identifying samples that are likely to have label noise. We provide analytical results on the loss function behavior that enable dynamic adaption of abstention rates based on learning progress during training. We demonstrate the utility of the deep abstaining classifier for various image classification tasks under different types of label noise; in the case of arbitrary label noise, we show significant improvements over previously published results on multiple image benchmarks. Source code is available at https://github.com/thulas/dac-label-noise

연구 동기 및 목표

• 딥 러닝 분류 성능에 대한 라벨 노이즈의 영향에 대한 동기 부여 및 해결책 제시.
• 훈련 중에도 학습 손실을 포기하지 않고 거부를 가능하게 하는 수정된 손실 함수를 제안하여 비거부 샘플의 학습 손실을 해치지 않도록 합니다.
• 거부가 구조화된 노이즈 하에서 강건한 학습에 도움을 주고, 비구조화된 노이즈 하에서 데이터 정제에 효과적인 도구가 될 수 있음을 보여줍니다.
• 이미지 벤치마크 전반에 걸친 방법의 적용 가능성을 시연하고, 거부 동작과 표현에 대한 통찰을 제공합니다.

제안 방법

• 추가 출력으로 거부를 모델링하는 k+1 출력 DAC를 도입합니다.
• 표준 클래스 확률과 거부 항 및 가변 거부 페널티 α를 결합한 수정된 크로스 엔트로피 손실을 정의합니다.
• 거부하에서도 실제 클래스로의 학습이 보존됨(그래디언트 동작)을 보장합니다.
• 학습 중 α를 자동으로 조정하는 스킴을 제시하여 거부와 학습 진행 간의 균형을 맞춥니다.
• 구조화된 노이즈 학습을 시연하여 DAC가 신뢰할 수 없는 라벨과 연관된 특징 매핑을 학습하고 그에 따라 거부하도록 합니다.
• 비구조화된 노이즈 데이터 정제를 시연하여 DAC를 사용해 노이즈가 있을 가능성이 높은 샘플을 식별하고 정제된 DNN 재훈련 전에 pruning합니다.

실험 결과

연구 질문

• RQ1 라벨이 체계적으로 노이즈일 때 거부가 DNN이 강건한 표현을 학습하는 데 도움이 될까요?
• RQ2 DAC가 신뢰할 수 없는 라벨의 샘플을 식별하고 학습 중 거부할 수 있을까요?
• RQ3 균일한 라벨 노이즈 하에서 다운스트림 학습을 위한 효과적인 데이터 정제 단계로 거부 학습이 작동할까요?
• RQ4 거부 메커니즘이 학습 역학 및 DNN의 기억화에 어떤 영향을 미칠까요?

주요 결과

• DAC는 구조화된 및 비구조화된 시나리오 전반에서 라벨 노이즈가 있는 경우에도 강건한 학습을 가능하게 합니다.
• DAC는 신뢰할 수 없는 라벨을 나타내는 특징을 학습하고 그러한 샘플에 대해 높은 정밀도와 재현율로 거부할 수 있습니다.
• DAC를 사용해 노이즈 샘플을 필터링하고 다운스트림 모델을 재훈련하면 베이스라인 및 다른 노이즈 강건 방법 대비 유의한 정확도 상승이 나타납니다.
• 학습과 함께 DAC의 거부 동작은 진화하여 학습 진행에 따라 거부를 줄이고 해석 가능한 특징 연관성(예: 얼룩 같은 잡티 등)을 드러낼 수 있습니다.
• 데이터 정제 실험에서 DAC를 통해 노이즈가 있는 샘플을 제거하고 더 깨끗한 데이터 세트로 훈련하면 종종 최신의 노이즈 처리 방법보다 더 성능이 낫습니다.