[논문 리뷰] Understanding Generalization of Deep Neural Networks Trained with Noisy Labels.

Wei Hu, Zhiyuan Li외 1명|arXiv (Cornell University)|2019. 05. 27.

Machine Learning and Data Classification인용 수 9

한 줄 요약

이 논문은 오버파ram터화된 딥 네ural 네트워크가 노이즈가 있는 레이블로 훈련되어도 청소된 데이터에서 잘 일반화될 수 있도록 해주는 두 가지 정규화 방법—초기화 방향으로의 가중치 감소와 학습 가능한 보조 출력 변수—을 제안한다. 이론적으로, 어느 한 정규화 방법을 사용한 경사하강법도 청소된 레이블 하에서의 일반화 경계와 유사한 성능을 달성하며, 네트워크 크기와 무관한 보장을 보장하는 신경탄성핵(NTK) 분석을 기반으로 한다.

ABSTRACT

Over-parameterized deep neural networks trained by simple first-order methods are known to be able to fit any labeling of data. Such over-fitting ability hinders generalization when mislabeled training examples are present. On the other hand, simple regularization methods like early-stopping can often achieve highly nontrivial performance on clean test data in these scenarios, a phenomenon not theoretically understood. This paper proposes and analyzes two simple and intuitive regularization methods: (i) regularization by the distance between the network parameters to initialization, and (ii) adding a trainable auxiliary variable to the network output for each training example. Theoretically, we prove that gradient descent training with either of these two methods leads to a generalization guarantee on the clean data distribution despite being trained using noisy labels. Our generalization analysis relies on the connection between wide neural network and neural tangent kernel (NTK). The generalization bound is independent of the network size, and is comparable to the bound one can get when there is no label noise. Experimental results verify the effectiveness of these methods on noisily labeled datasets.

연구 동기 및 목표

• 노이즈가 있는 레이블로 훈련할 때도 초기 정지와 같은 단순한 정규화 기법이 청소된 데이터에서 왜 일반화 성능을 향상시키는지 이해하는 것.
• 노이즈가 있는 레이블로 훈련된 오버파라미터화된 네트워크가 여전히 잘 일반화될 수 있는 이유를 이론적으로 설명하는 데에 격차를 메우는 것.
• 훈련 중에 청소된 레이블이 필요 없이도 일반화를 보장하는 정규화 기법을 제안하고 분석하는 것.
• 신경탄성핵(NTK) 이론을 활용해 네트워크 폭에 관계없이 일반화 경계를 확립하는 것.

제안 방법

• 네트워크 가중치가 초기화된 값에서 떨어지는 L2 거리에 기반한 정규화를 도입하여, 초기값 근처의 해로 수렴하도록 유도하는 것.
• 각 훈련 예제마다 네트워크 출력에 학습 가능한 보조 변수를 추가하여, 모델이 이 보조 헤드를 통해 노이즈가 있는 레이블을 무시하도록 유도하는 것.
• 일반화 경계를 유도하기 위해 신경탄성핵(NTK) 프레임워크를 사용해 훈련 동역학을 분석하는 것.
• 경사하강법에 어느 정규화 방법을 적용하든, 노이즈가 있는 레이블이 존재하더라도 청소된 데이터 분포에서 일반화가 가능하다는 것을 증명하는 것.
• 네트워크 폭에 의존하지 않는 일반화 경계를 유도하여 오버파라미터화에 대한 강건성을 보여주는 것.
• 정규화 기법과 잘 일반화되는 해로 향하는 최적화의 암묵적 편향 사이의 이론적 연결 고리를 확립하는 것.

실험 결과

연구 질문

• RQ1 노이즈가 있는 레이블로 훈련할 때 초기 정지와 같은 단순한 정규화 기법이 왜 청소된 테스트 데이터에서 좋은 일반화 성능을 내는가?
• RQ2 정규화를 사용함으로써 오버파라미터화된 네트워크가 노이즈가 있는 레이블로 훈련된 후에도 일반화 성능을 보장할 수 있는가를 이론적으로 설명할 수 있는가?
• RQ3 초기화로부터의 이탈을 방지하는 정규화나 보조 변수를 사용하는 정규화 기법이 네트워크 크기와 무관한 일반화 경계를 제공하는가?
• RQ4 신경탄성핵(NTK) 프레임워크는 레이블 노이즈 하에서 일반화를 분석하는 데 어떻게 기여하는가?
• RQ5 단순하고 실용적인 정규화 기법만으로도 청소된 레이블 상황과 유사한 일반화 경계를 달성할 수 있는가?

주요 결과

• 제안된 정규화 기법—초기화 방향으로의 가중치 감소와 보조 출력 변수—은 노이즈가 있는 레이블로 훈련되더라도 청소된 데이터에서 일반화를 가능하게 한다.
• NTK 이론을 통해 도출된 일반화 경계는 네트워크 폭에 관계없이 일관되며, 오버파라미터화에 대한 강건성을 나타낸다.
• 이론적 분석을 통해 두 기법 모두 청소된 레이블이 존재할 때와 유사한 일반화 보장을 달성함을 보여준다.
• 실험 결과는 이러한 기법들이 노이즈가 있는 레이블이 포함된 데이터셋에서 테스트 정확도를 향상시킴으로써 이론적 주장의 타당성을 검증한다.
• 정규화 메커니즘은 손상된 레이블이 존재하더라도 일반화가 잘 되는 해로 최적화를 암묵적으로 유도한다.
• NTK 프레임워크는 레이블 노이즈 하에서 오버파라미터화된 네트워크의 일반화 행동을 성공적으로 포착하여 철저한 분석을 가능하게 한다.