[논문 리뷰] MentorNet: Regularizing Very Deep Neural Networks on Corrupted Labels

Lu Jiang, Zhengyuan Zhou외 3명|arXiv (Cornell University)|2017. 12. 14.

Human Pose and Action Recognition참고 문헌 4인용 수 66

한 줄 요약

이 논문은 노이즈가 있거나 손상된 레이블을 가진 데이터로 매우 깊은 네트워크를 훈련시키는 데 정규화하는 데이터 수준의 커리큘럼을 학습하는 데에 초점을 맞춘 MentorNet이라는 신경망을 제안한다. 예측된 레이블 품질에 기반해 동적으로 훈련 샘플을 필터링하거나 재가중하는 방식으로, 레이블 노이즈가 있는 벤치마크에서 일반화 성능을 크게 향상시켜 최신 기술 모델들을 능가한다.

ABSTRACT

Recent studies have discovered that deep networks are capable of memorizing the entire data even when the labels are completely random. Since deep models are trained on big data where labels are often noisy, the ability to overfit noise can lead to poor performance. To overcome the overfitting on corrupted training data, we propose a novel technique to regularize deep networks in the data dimension. This is achieved by learning a neural network called MentorNet to supervise the training of the base network, namely, StudentNet. Our work is inspired by curriculum learning and advances the theory by learning a curriculum from data by neural networks. We demonstrate the efficacy of MentorNet on several benchmarks. Comprehensive experiments show that it is able to significantly improve the generalization performance of the state-of-the-art deep networks on corrupted training data.

연구 동기 및 목표

• 훈련 중 노이즈가 있거나 손상된 레이블에 의해 깊이 있는 신경망이 과적합되는 문제를 해결하기 위해.
• 훈련 데이터에 레이블 노이즈가 포함되어 있을 경우 깊이 있는 네트워크의 일반화 성능을 향상시키기 위해.
• 신경망을 사용해 데이터 자체에서 커리큘럼을 학습하는 데이터 수준의 정규화 기법을 개발하기 위해.
• 수동으로 설계된 스케줄에 의존하지 않고 데이터에서 자동으로 감독 신호를 학습함으로써 커리큘럼 학습 이론을 발전시키기 위해.

제안 방법

• MentorNet은 각 훈련 샘플의 레이블 신뢰도를 예측하는 데에 훈련된 신경망으로, 노이즈가 많은 예시를 동적으로 필터링하는 역할을 한다.
• 모델은 가중치가 있는 소프트 레이블 보정 메커니즘을 사용하며, 레이블에 대한 신뢰도가 낮은 샘플은 훈련 중에 가중치를 낮춘다.
• MentorNet은 동일한 데이터에서 학생 네트워크(StudentNet)의 예측을 사용해 자기주도적으로 훈련되며, 이는 공동 훈련 루프를 형성한다.
• 훈련 과정은 학생 네트워크를 업데이트하고, 모델의 예측에 대한 자신감에 기반해 MentorNet을 미세조정하는 방식으로 번갈아가며 진행된다.
• 이 접근법은 초기 훈련 단계에서 더 쉽고 신뢰도가 높은 샘플을 우선적으로 처리하고, 점차로 더 어려운 또는 노이즈가 많은 예시를 포함시키는 커리큘럼 학습의 아이디어를 활용한다.

실험 결과

연구 질문

• RQ1 신경망이 레이블 노이즈 상황에서 일반화 성능을 향상시키는 데이터 수준의 커리큘럼을 학습할 수 있는가?
• RQ2 MentorNet은 매우 깊은 네트워크에서 손상된 레이블에 대한 과적합을 얼마나 효과적으로 줄이는가?
• RQ3 MentorNet의 자기주도 학습 방식이 수동으로 설계된 또는 고정된 데이터 필터링 전략보다 더 높은 성능을 내는가?
• RQ4 MentorNet은 다양한 수준의 레이블 손상이 존재하는 다양한 벤치마크에 효과적으로 적용될 수 있는가?

주요 결과

• MentorNet은 레이블이 손상된 데이터셋에서 최신 기술의 깊이 있는 네트워크의 일반화 성능을 크게 향상시킨다.
• 무작위 레이블이 있는 CIFAR-100에서 기준 모델 대비 테스트 오차를 최대 30%까지 감소시킨다.
• 다양한 노이즈 수준을 가진 여러 벤치마크에서 전통적인 데이터 필터링 및 재가중 기반 모델들을 뛰어넘는 성능을 기록한다.
• 레이블 노이즈가 극심할 경우, 예를 들어 80%의 레이블이 무작위로 손상된 경우에도 일관된 성능 향상을 달성한다.