[논문 리뷰] Probabilistic End-to-end Noise Correction for Learning with Noisy Labels

Kun Yi, Jianxin Wu|arXiv (Cornell University)|2019. 03. 19.

Machine Learning and Data Classification참고 문헌 31인용 수 67

한 줄 요약

PENCIL은 노이즈가 있는 라벨을 엔드투엔드로 보정하기 위해 레이블 분포를 동시에 업데이트하면서 신경망을 학습합니다. 깨끗한 보조 데이터셋이나 사전 노이즈 정보를 필요로 하지 않습니다.

ABSTRACT

Deep learning has achieved excellent performance in various computer vision tasks, but requires a lot of training examples with clean labels. It is easy to collect a dataset with noisy labels, but such noise makes networks overfit seriously and accuracies drop dramatically. To address this problem, we propose an end-to-end framework called PENCIL, which can update both network parameters and label estimations as label distributions. PENCIL is independent of the backbone network structure and does not need an auxiliary clean dataset or prior information about noise, thus it is more general and robust than existing methods and is easy to apply. PENCIL outperforms previous state-of-the-art methods by large margins on both synthetic and real-world datasets with different noise types and noise rates. Experiments show that PENCIL is robust on clean datasets, too.

연구 동기 및 목표

• 깨끗한 데이터나 노이즈에 관한 선행 정보가 이용 불가능한 심층 네트워크에서 노이즈가 있는 라벨에 대한 견고한 학습을 촉진한다.
• 학습 중에 노이즈를 보정하기 위해 업데이트될 수 있는 확률적 라벨 모델을 제안한다.
• 네트워크 매개변수와 샘플별 라벨 분포를 모두 업데이트하는 엔드 투 엔드 학습 프레임워크를 개발한다.
• 합성 및 실제 노이즈 라벨 데이터셋에서의 견고성과 최첨단 성능을 입증한다.

제안 방법

• 각 이미지의 라벨을 고정된 원-핫 라벨이 아닌 클래스 분포(라벨 분포)로 모델링한다.
• 역전파를 통해 네트워크 매개변수와 샘플별 라벨 분포를 공동으로 최적화한다.
• 라벨 분포에 대한 KL발산 변형(L_c)에 기초한 분류 손실을 사용하고, 노이즈 보정을 촉진하기 위한 기울기 특성을 설명한다.
• 유용한 정보를 버리지 않으면서 라벨 분포를 노이즈 라벨에 연결하는 호환성 손실(L_o)을 포함한다.
• 편향된 예측으로의 조기 수렴을 방지하고 판별 가능한 출력을 촉진하기 위해 엔트로피 정규화 항(L_e)을 추가한다.
• 다음의 세 단계 학습 워크플로를 제공한다: 높은 학습률로 백본 사전 학습, 노이즈 보정을 위한 PENCIL 엔드투엔드 학습, 고정된 라벨 분포로의 최종 미세조정.

실험 결과

연구 질문

• RQ1 외부의 깨끗한 데이터나 노이즈 선행 정보 없이도 엔드투엔드로 라벨 분포를 효과적으로 업데이트하여 노이즈 라벨을 보정할 수 있는가?
• RQ2 고정 라벨을 학습 가능한 라벨 분포로 대체하는 것이 데이터셋 전반에서 대칭 및 비대칭 노이즈에 대한 견고성을 향상시키는가?
• RQ3 제안된 손실 구성은 전통적인 KL 손실과 비교하여 노이즈 보정에 대한 기울기 업데이트에 어떤 영향을 주는가?
• RQ4 PENCIL은 실제 세계의 노이즈 데이터와 깨끗한 데이터셋에서 견고한가?

주요 결과

• PENCIL은 다양한 노이즈 유형과 비율에서 CIFAR-10, CIFAR-100, Clothing1M에서 이전 방법들을 큰 폭으로 능가한다.
• 이 프레임워크는 깨끗한 데이터셋에서도 견고하게 작동하며, 학습된 라벨 분포가 실제 라벨과 실무상 일치한다.
• PENCIL은 합성(대칭 및 비대칭) 및 실제 데이터셋에서 중간 수준의 노이즈에 대해 강한 견고성을 보인다.
• 매우 높은 노이즈(80% 대칭)에서의 극단적 경우는 올바른 라벨이 소수로 전락하고 방법이 어려움을 겪는 실패 모드를 나타내며, 그 한계를 부각한다.
• 이 접근법은 보조 깨끗한 데이터나 노이즈 전이 행렬에 대한 사전 지식이 필요하지 않아 널리 적용 가능하다.