[논문 리뷰] Making Deep Neural Networks Robust to Label Noise: a Loss Correction Approach

Giorgio Patrini, Alessandro Rozza외 3명|arXiv (Cornell University)|2016. 09. 13.

Machine Learning and Data Classification참고 문헌 38인용 수 114

한 줄 요약

이 논문은 클래스 의존적 레이블 노이즈에 대해 심층 네트워크를 견고하게 만드는 두 가지 로스 보정 절차(역방향 및 순방향)와 필요한 전이 행렬 T를 얻기 위한 노이즈 추정기를 제시하며, 다양한 아키텍처와 데이터세트에서의 효과를 시연합니다.

ABSTRACT

We present a theoretically grounded approach to train deep neural networks, including recurrent networks, subject to class-dependent label noise. We propose two procedures for loss correction that are agnostic to both application domain and network architecture. They simply amount to at most a matrix inversion and multiplication, provided that we know the probability of each class being corrupted into another. We further show how one can estimate these probabilities, adapting a recent technique for noise estimation to the multi-class setting, and thus providing an end-to-end framework. Extensive experiments on MNIST, IMDB, CIFAR-10, CIFAR-100 and a large scale dataset of clothing images employing a diversity of architectures --- stacking dense, convolutional, pooling, dropout, batch normalization, word embedding, LSTM and residual layers --- demonstrate the noise robustness of our proposals. Incidentally, we also prove that, when ReLU is the only non-linearity, the loss curvature is immune to class-dependent label noise.

연구 동기 및 목표

• 대중이 만든 라벨링이나 저가 라벨링 방법으로 인해 라벨이 노이즈인 상황에서 딥 뉴럴 네트워크의 강건한 훈련을 동기화한다.
• 클래스 의존적 레이블 노이즈를 보정하는 두 가지 로스 보정 방법(역방향 및 순방향)을 도입하고 노이즈 전이 행렬 T를 사용한다.
• 클래스 조건부 노이즈 하에서 보정된 로스의 강건성 보장을 입증하는 이론적 프레임워크를 제공한다.
• ground-truth 라벨 없이 엔드투엔드 학습을 가능하게 하는 다클래스 설정으로 노이즈 비율 추정기를 확장한다.
• 이미지와 텍스트 작업을 포함한 다양한 아키텍처 및 데이터 도메인에서의 실증적 강건성을 입증한다.

제안 방법

• 역방향 보정: 보정된 로스 ell^{←}를 T^{-1} ell으로 정의하여 T가 특이하지 않을 때 노이즈 라벨 하에서도 편향 없는 로스 추정치를 얻는다.
• 순방향 보정: 보정된 로스 ell^{→}를 적절한 합성 로스 안에서 예측을 T^{T}로 변환하여, 노이즈 데이터에서도 최소점(최적화 해)을 보존한다.
• 두 보정 방법에 대해 강건성 보장을 입증하고, 노이즈 데이터에서의 최소점이 적절한 로스에서의 최소점과 일치함을 보인다.
• 그랜야노 보정 없이 엔드투엔드 학습을 가능하게 하기 위해 라벨이 없는 데이터에서 네트워크 출력으로부터 T를 추정하여 다클래스 설정으로 노이즈 추정을 확장한다.
• ReLU 네트워크의 로스의 해시(Hessian)가 이러한 보정 하에서 레이블 노이즈에 불변임을 보여줘 최적화에 도움을 준다.

실험 결과

연구 질문

• RQ1 다중 클래스 분류에서 클래스 의존적 레이블 노이즈가 있을 때 로스 보정 기법(역방향 및 순방향)이 바람직하거나 강건한 최적화를 제공하는가?
• RQ2 Ground-truth 라벨 없이 다클래스 설정에서 노이즈 전이 행렬 T를 어떻게 추정하고 이러한 추정이 강건성에 어떤 영향을 미치는가?
• RQ3 제안된 보정이 다양한 아키텍처와 도메인(CNN, RNN, LSTM, 잔여 네트워크)을 포함하여 이론적 강건성 보장을 유지하는가?
• RQ4 레이블 노이즈 하에서의 Hessian에 대한 ReLU 활성화의 영향은 무엇인가?
• RQ5 수Synthetic 및 실제 노이즈(MNIST, CIFAR, IMDB, Clothing1M)가 있는 데이터 세트에서 보정된 로스가 표준 교차 엔트로피 및 다른 벤치마크 대비 어떤 차이를 보이는가?

주요 결과

• 역방향 보정은 T가 특이할 때 노이즈 라벨 하에서 로스의 편향 없는 추정치를 제공하며, 최소점을 보존한다.
• 순방향 보정은 적절한 합성 로스의 경우 깨끗한 분포 하의 최소점을 보존하며, 실무에서 행렬 역전을 명시적으로 수행하지 않아도 된다.
• 노이즈 전이 행렬 T는 ground-truth 라벨 없이도 비표본 데이터에서 네트워크 출력으로부터 추정될 수 있어 엔드투엔드 학습이 가능하다.
• ReLU 네트워크의 경우 로스의 해시(Hessian)가 레이블 노이즈에 독립적이어서 보정 하에서도 곡률 기반 최적화 특성이 유지된다.
• 실험적으로 보정되지 않은 로스보다 MNIST, CIFAR-10/100, IMDB, Clothing1M에서 강건성이 향상되며, 순방향 보정이 보통 역방향 보정보다 뛰어나다.
• 이 접근법은 밀집 네트워크, CNN, ResNet, LSTM 등 아키텍처나 도메인에 구애받지 않는 것으로 확인되었다.