[논문 리뷰] Noisy Labels Can Induce Good Representations.

Jingling Li, Mozhi Zhang외 3명|arXiv (Cornell University)|2020. 12. 23.

Machine Learning and Data Classification참고 문헌 78인용 수 8

한 줄 요약

이 논문은 아키텍처가 작업에 부합할 경우 노이즈가 있는 레이블이 여전히 딥 네ural 네트워크에서 좋은 히든 표현을 유도할 수 있음을 보여준다. 최종 레이어가 잘 일반화되지 않더라도 말이다. 마지막 완전 연결 레이어를 소규모 정제된 데이터 세트로 훈련된 선형 분류기로 대체함으로써, 이 방법은 이미지 분류 및 그래프 작업의 노이즈가 있는 레이블 벤치마크에서 성능을 향상시키며, 기존 기법과 조합할 경우 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

The current success of deep learning depends on large-scale labeled datasets. In practice, high-quality annotations are expensive to collect, but noisy annotations are more affordable. Previous works report mixed empirical results when training with noisy labels: neural networks can easily memorize random labels, but they can also generalize from noisy labels. To explain this puzzle, we study how architecture affects learning with noisy labels. We observe that if an architecture suits the task, training with noisy labels can induce useful hidden representations, even when the model generalizes poorly; i.e., the last few layers of the model are more negatively affected by noisy labels. This finding leads to a simple method to improve models trained on noisy labels: replacing the final dense layers with a linear model, whose weights are learned from a small set of clean data. We empirically validate our findings across three architectures (Convolutional Neural Networks, Graph Neural Networks, and Multi-Layer Perceptrons) and two domains (graph algorithmic tasks and image classification). Furthermore, we achieve state-of-the-art results on image classification benchmarks by combining our method with existing approaches on noisy label training.

연구 동기 및 목표

• 딥 네트워크가 노이즈가 있는 레이블에도 불구하고 일반화가 잘 되는 이유의 역설을 해결하기 위해.
• 레이블 노이즈 하에서 신경망 아키텍처가 학습에 어떻게 영향을 미치는지 조사하기 위해.
• 노이즈가 있는 레이블로 훈련할 때 모델 성능을 향상시키는 실용적인 방법을 개발하기 위해.
• 이 방법이 다양한 아키텍처와 도메인, 특히 이미지 및 그래프 작업에서 어떻게 작동하는지 검증하기 위해.

제안 방법

• 이 방법은 사전 훈련된 모델의 최종 완전 연결 레이어를 선형 분류기로 대체한다.
• 선형 분류기는 훈련 데이터의 소규모 정제된 부분집합 전용으로 훈련된다.
• 이 접근법은 최종 레이어가 노이즈 레이블로 인해 손상되어도, 히든 표현이 여전히 유용하다는 사실을 활용한다.
• 이 방법은 컨volutional 네ural 네트워크, 그래프 네ural 네트워크, 다층 퍼셉트론에 적용된다.
• 성능 평가는 기존의 노이즈가 있는 레이블 훈련 기법과 이 방법을 조합하여 평가된다.

실험 결과

연구 질문

• RQ1 아키텍처가 작업에 잘 부합할 경우, 신경망은 노이즈가 있는 레이블로부터도 유용한 표현을 학습할 수 있는가?
• RQ2 의미 있는 특징을 학습하고도도 일부 모델이 노이즈가 있는 레이블에서 일반화가 잘 되지 않는 이유는 무엇인가?
• RQ3 정제된 데이터로 훈련된 단순한 선형 헤드가 노이즈가 있는 레이블 데이터셋에서 성능을 향상시킬 수 있는가?
• RQ4 이 방법은 다양한 아키텍처와 도메인에서 어떻게 작동하는가?

주요 결과

• 최종 레이어가 레이블 노이즈로 인해 실패하더라도, 훈련 중에 학습된 히든 표현은 여전히 유용하고 전이 가능하다.
• 최종 레이어를 소규모 정제된 데이터 세트로 훈련된 선형 분류기로 대체함으로써, 노이즈가 있는 레이블 벤치마크에서 일반화 성능이 크게 향상된다.
• 기존의 노이즈가 있는 레이블 훈련 접근법과 조합했을 때, 이 방법은 이미지 분류 작업에서 최신 기술 성능을 달성한다.
• 이 방법은 CNN, GNN, MLP와 같은 다양한 아키텍처에서 효과적이며, 이미지 기반 및 그래프 기반 작업 모두에서 유용하다.