[논문 리뷰] Learning from Noisy Labels with Deep Neural Networks: A Survey

Hwanjun Song, Minseok Kim외 3명|arXiv (Cornell University)|2020. 07. 16.

Machine Learning and Data Classification인용 수 91

한 줄 요약

본 설문조사는 노이즈 레이블을 학습하는 심층 신경망에 대한 견고한 학습 방법을 검토하고, 62개의 방법을 다섯 그룹으로 분류하며 평가 관행과 노이즈 설정을 분석합니다.

ABSTRACT

Deep learning has achieved remarkable success in numerous domains with help from large amounts of big data. However, the quality of data labels is a concern because of the lack of high-quality labels in many real-world scenarios. As noisy labels severely degrade the generalization performance of deep neural networks, learning from noisy labels (robust training) is becoming an important task in modern deep learning applications. In this survey, we first describe the problem of learning with label noise from a supervised learning perspective. Next, we provide a comprehensive review of 62 state-of-the-art robust training methods, all of which are categorized into five groups according to their methodological difference, followed by a systematic comparison of six properties used to evaluate their superiority. Subsequently, we perform an in-depth analysis of noise rate estimation and summarize the typically used evaluation methodology, including public noisy datasets and evaluation metrics. Finally, we present several promising research directions that can serve as a guideline for future studies. All the contents will be available at https://github.com/songhwanjun/Awesome-Noisy-Labels.

연구 동기 및 목표

• 딥러닝에서 노이즈 레이블로부터 학습하는 문제의 동기를 부여하고 일반화에 미치는 영향을 설명한다.
• 레이블 노이즈를 다루는 DNN의 견고한 학습 방법에 대한 포괄적 분류 체계를 제공한다.
• 아키텍처, 정규화, 손실 함수, 손실 보정, 샘플 선택에 걸친 이론적 기초와 실용 알고리즘을 요약한다.
• 이 방법들이 어떻게 평가되는지(노이즈 모델과 공개 데이터셋을 포함) 평가하고 견고성의 측정에 대해 논의한다.
• 레이블 노이즈 하의 강건한 딥러닝에서 향후 연구를 이끌 유망한 방향을 제시한다.

제안 방법

• 강건한 학습 방법을 다섯 가지 그룹으로 분류한다: 강건한 아키텍처, 강건한 정규화, 강건한 손실 함수, 손실 보정, 샘플 선택.
• 레이블 전이 확률을 모델링하기 위한 노이즈 적응 계층과 복잡한 노이즈를 위한 특화된 아키텍처와 같은 아키텍처적 적응을 설명한다.
• bilevel 학습, 사전 학습, mixup, 데이터 증강을 포함한 명시적 및 암시적 정규화 기법을 설명한다.
• MAE, GCE, bi-tempered 손실, 대칭 교차 엔트로피(Symmetric Cross Entropy), 커리큘럼 손실, Active/Passive 손실 등과 같은 강건 손실 함수를 요약한다.
• 추정된 노이즈 전이 행렬을 사용하여 손실을 수정하는 손실 보정 방법을 자세히 설명하며, 역방향/전방 보정 및 골드 손실 보정 등을 포함한다.
• 깨끗한 라벨을 식별하고 이에 따라 학습 프로세스를 조정하는 샘플 선택 전략과 메타러닝 접근법에 대해 논의한다.
• 특정 손실이 대칭적 혹은 비대칭 노이즈에 견고한 조건과 그것이 심층 신경망과 어떻게 관련되는지에 대한 이론적 결과를 제시한다.

실험 결과

연구 질문

• RQ1 레이블 노이즈 하에서 심층 신경망에 대한 견고한 학습 기법의 주요 범주는 무엇인가?
• RQ2 노이즈 모델(대칭적, 비대칭적, 인스턴스 의존적)이 견고한 방법의 설계와 효과에 어떤 영향을 미치는가?
• RQ3 심층 학습에서 손실 함수가 레이블 노이즈에 견고하다는 이론적 보장이나 조건은 무엇인가?
• RQ4 공개 데이터셋과 다양한 노이즈 체계에서 견고한 방법이 어떻게 평가되며 어떤 지표가 사용되는가?
• RQ5 DNN에서 노이즈 레이블로부터 학습하는 향후 연구의 유망한 방향과 격차는 무엇인가?

주요 결과

• 본 설문조사는 다섯 그룹으로 분류된 62개의 최첨단 견고 학습 방법을 검토한다.
• 강건한 아키텍처 접근법에는 레이블 전이 확률을 모델링하기 위한 노이즈 적응 계층 및 전용 아키텍처가 포함된다.
• 명시적 및 암시적 정규화 기법은 강건성을 강화하며, bilevel 학습, 사전 학습, 적대적 학습, mixup 등을 포함한다.
• 강건 손실 함수(예: MAE, GCE, SCE) 및 손실 보정 방법(전방/후방 보정, 골드 손실 보정)이 노이즈 허용성 측면에서 분석된다.
• 손실 보정 및 샘플 선택은 메타러닝과 함께 종종 결합되어 노이즈 라벨의 영향을 완화하는 데 중요하다.
• 논문은 노이즈 비율 추정, 평가 방법론, 공개 노이즈 데이터셋 및 평가 지표를 논의하며 향후 연구 방향을 강조한다.