[논문 리뷰] Using Trusted Data to Train Deep Networks on Labels Corrupted by Severe Noise

Dan Hendrycks, Mantas Mazeika외 2명|arXiv (Cornell University)|2018. 02. 14.

Adversarial Robustness in Machine Learning인용 수 312

한 줄 요약

본 논문은 Gold Loss Correction (GLC)를 소개합니다. 이는 작은 신뢰 가능한 집합을 사용하여 라벨 노이즈 오염 행렬을 추정하고 손실을 보정하여 심각한 라벨 노이즈 하에서도 심층 네트워크를 견고하게 학습시키는 데이터 효율적인 방법입니다.

ABSTRACT

The growing importance of massive datasets used for deep learning makes robustness to label noise a critical property for classifiers to have. Sources of label noise include automatic labeling, non-expert labeling, and label corruption by data poisoning adversaries. Numerous previous works assume that no source of labels can be trusted. We relax this assumption and assume that a small subset of the training data is trusted. This enables substantial label corruption robustness performance gains. In addition, particularly severe label noise can be combated by using a set of trusted data with clean labels. We utilize trusted data by proposing a loss correction technique that utilizes trusted examples in a data-efficient manner to mitigate the effects of label noise on deep neural network classifiers. Across vision and natural language processing tasks, we experiment with various label noises at several strengths, and show that our method significantly outperforms existing methods.

연구 동기 및 목표

• 자동 라벨링, 비전문가 라벨링, 데이터 오염으로 인해 학습 라벨이 심하게 손상될 때 견고한 학습을 동기화합니다.
• 작은 신뢰 가능한 데이터셋을 활용해 라벨 노이즈를 완화하는 손실 보정 프레임워크를 제안합니다.
• GLC가 기존 방법에 비해 비전 및 NLP 태스크 전반에서 크게 향상된 견고성을 보임을 입증합니다.

제안 방법

• C_{ij}=P(tilde{y}=j | y=i)로 표현되는 라벨 노이즈를 가진 오염 행렬 C를 정의합니다.
• 신뢰할 수 없는 데이터에서 C를 추정하기 위해 노이즈 라벨 분류기 p(tilde{y}|x)를 학습하고 각 진짜 클래스 i에 대해 신뢰할 수 있는 예제 위에서 그 예측을 평균화합니다.
• 모델 출력에 C^T를 적용하고 노이즈 라벨에 대해 최적화하며, 필요에 따라 신뢰 가능한 예제를 보정에서 제외하는 방식으로 보정된 분류기를 학습합니다.
• Gold Loss Correction (GLC)은 C를 추정하는 것과 보정된 손실을 결합하여 P(y|x)를 복원합니다.
• GLC를 Forward, Distillation, Confusion-Matrix 베이스라인과 비교하여 데이터 세트와 노이즈 유형 전반에서 에러-곡선 아래 영역이 개선됨을 보여줍니다.
• 다양한 신뢰 비율을 테스트하고 합성 노이즈 및 약한 라벨 노이즈 설정을 사용하여 데이터 효율성을 탐구합니다.

실험 결과

연구 질문

• RQ1 작은 신뢰 라벨 세트를 어떻게 활용하여 심각한 라벨 노이즈 하에서 견고하게 학습할 수 있는가?
• RQ2 신뢰 데이터에서 라벨 노이즈 행렬을 추정하는 것이 기존 손실 보정 방법에 비해 실제 라벨 분포의 복원을 향상시키는가?
• RQ3 다양한 손상 유형과 강도 하에서 비전 및 NLP 태스크 전반에 걸쳐 제안된 방법의 데이터 효율성은 어느 정도인가?
• RQ4 forward-손실 보정 및 지식 증류 베이스라인에서 신뢰 데이터의 사용이 미치는 영향은 무엇인가?
• RQ5 GLC가 인스턴스 의존적 노이즈를 다루면서도 적은 골드 라벨로 최신 방법을 능가할 수 있는가?

주요 결과

• GLC는 Uniform, Flip, Hierarchical 손상 하에서 MNIST, CIFAR(10/100), IMDB, SST, Twitter POS 및 기타 NLP 태스크에서 베이스라인보다 더 나은 견고성(오류가 더 낮음)을 일관되게 달성합니다.
• 신뢰 데이터에 의해 오염 행렬을 추정하는 것이 혼동 행렬이나 Forward 방법보다 더 정확한 C를 제공하며, 특히 중간에서 심한 노이즈 수준에서 더 강력한 성능을 보입니다.
• GLC는 데이터 효율성을 유지하며 매우 작은 신뢰 비율(예: 1-5%)에서도 의미 있는 이득을 달성하고, 신뢰 데이터가 희소할 때 여러 설정에서 증류(distillation)보다 우수한 성능을 보입니다.
• 의류1M에서 GLC는 특히 신뢰 예제가 적을 때 증류보다 우수한 성능을 보이며, 실제 노이즈가 있는 학습 데이터 상황에서 데이터 효율성을 입증합니다.
• 약한 분류기 라벨 실험에서도 GLC가 종종 가장 큰 오류 감소를 달성하여 약한 모델에서 유래한 노이즈 소스에 대해 방법의 강인성을 부각시킵니다.
• 전반적으로 GLC는 라벨 노이즈 하에서의 학습에 대해 최신 수준의 데이터 효율적 접근법을 제공하며, 소규모 골드 표준 세트를 활용하여 큰 이득을 얻을 수 있습니다.