[논문 리뷰] Distillation $\approx$ Early Stopping? Harvesting Dark Knowledge Utilizing Anisotropic Information Retrieval For Overparameterized Neural Network

Bin Dong, Jikai Hou외 2명|arXiv (Cornell University)|2019. 10. 02.

Advanced Neural Network Applications참고 문헌 53인용 수 27

한 줄 요약

이 논문은 오버파ram터화된 신경망에서 지식 정복이 주로 초기 정지(early stopping)를 통해 작동하며, 이는 노이즈 이전에 유의미한 패턴을 포착할 수 있도록 교사 네트워크가 '다크 지식(dark knowledge)'을 캐치할 수 있게 한다고 주장한다. 비대칭 정보 검색(Anisotropic Information Retrieval, AIR)과 동적으로 학습 에포크 간 지식을 전달하는 자기 정복(self-distillation) 알고리즘을 도입함으로써, 초기 정지를 필요로 하지 않고도 더 나은 일반화와 레이블 복구를 달성하며, ℓ₂ 노름에서 지상 진실 레이블로의 이론적 수렴을 보여준다.

ABSTRACT

Distillation is a method to transfer knowledge from one model to another and often achieves higher accuracy with the same capacity. In this paper, we aim to provide a theoretical understanding on what mainly helps with the distillation. Our answer is "early stopping". Assuming that the teacher network is overparameterized, we argue that the teacher network is essentially harvesting dark knowledge from the data via early stopping. This can be justified by a new concept, {Anisotropic Information Retrieval (AIR)}, which means that the neural network tends to fit the informative information first and the non-informative information (including noise) later. Motivated by the recent development on theoretically analyzing overparameterized neural networks, we can characterize AIR by the eigenspace of the Neural Tangent Kernel(NTK). AIR facilities a new understanding of distillation. With that, we further utilize distillation to refine noisy labels. We propose a self-distillation algorithm to sequentially distill knowledge from the network in the previous training epoch to avoid memorizing the wrong labels. We also demonstrate, both theoretically and empirically, that self-distillation can benefit from more than just early stopping. Theoretically, we prove convergence of the proposed algorithm to the ground truth labels for randomly initialized overparameterized neural networks in terms of $\ell_2$ distance, while the previous result was on convergence in $0$-$1$ loss. The theoretical result ensures the learned neural network enjoy a margin on the training data which leads to better generalization. Empirically, we achieve better testing accuracy and entirely avoid early stopping which makes the algorithm more user-friendly.

연구 동기 및 목표

• 지식 정복이 모델 성능을 향상시키는 이유를 이론적으로 이해하는 것, 특히 오버파라미터화된 네트워크에서의 경우.
• 정복의 효과성이 소프트 레이블 가이던스가 아니라 초기 정지에서 기인하는지 조사하는 것.
• 비대칭 정보 검색(AIR)을 활용해 노이즈가 섞인 레이블에 대한 과적합을 방지하는 자기 정복 알고리즘을 개발하는 것.
• 제안된 알고리즘이 지상 진실 레이블로 ℓ₂ 거리 기준으로 수렴함을 증명하여, 0-1 손실 수렴을 넘어서는 일반화 성능 향상을 이끌어내는 것.
• 이 방법이 더 나은 일반화를 보이며 초기 정지를 필요로 하지 않음을 입증하여 사용자 우호성을 높이는 것.

제안 방법

• 비대칭 정보 검색(AIR)을 도입하여, 신경망이 노이즈 이전에 정보가 많은 데이터 패턴을 적합시키며, 이는 신경 탄성 커널(NTK)의 고유공간을 통해 특성화된다.
• 이전 학습 에포크의 네트워크 출력을 소프트 타겟으로 사용하여 현재 에포크를 지도하는 자기 정복 알고리즘을 제안한다.
• 에포크 간에 감독 강도를 동적으로 조정하여 잘못된 레이블에 대한 기억을 방지한다.
• 이론적 분석을 통해 오버파라미터화된 네트워크에서 지상 진실 레이블로 ℓ₂ 노름 기준으로 수렴함을 보여주며, 훈련 데이터에 대한 마진을 보장한다.
• Fashion-MNIST와 CIFAR-10에서의 실험적 검증을 통해 최첨단 성능과 노이즈 레이블에 대한 강건성을 입증한다.
• 0-1 손실에 집중한 이전 연구와 대비하여, 청소된 레이블에 대한 ℓ₂ 손실을 사용하여 마진 기반 일반화를 보장한다.

실험 결과

연구 질문

• RQ1 오버파라미터화된 네트워크에서 지식 정복이 소프트 레이블 정복보다 주로 초기 정지에 의해 작동하는가?
• RQ2 비대칭 정보 검색(AIR)은 오버파라미터화된 네트워크가 노이즈를 기억하기 전에 '다크 지식'을 포착하는 이유를 설명할 수 있는가?
• RQ3 에포크 간 지식을 전달하는 자기 정복 알고리즘이 초기 정지를 필요로 하지 않고도 올바른 레이블을 복구할 수 있는가?
• RQ4 제안된 방법에서 ℓ₂ 기반 수렴이 0-1 손실 수렴보다 더 나은 일반화를 이끌어내는가?
• RQ5 이 방법은 노이즈가 섞인 레이블을 효과적으로 정제하면서도 높은 테스트 정확도를 유지할 수 있는가?

주요 결과

• 이론적 분석을 통해 자기 정복 알고리즘이 오버파라미터화된 신경망에서 지상 진실 레이블로 ℓ₂ 거리 기준으로 수렴함을 증명하며, 훈련 데이터에 대한 마진을 보장한다.
• 노이즈가 섞인 레이블 설정 하에서 Fashion-MNIST와 CIFAR-10에서 최첨단 테스트 정확도를 달성하며, 이전 방법들을 능가한다.
• 실험 결과는 알고리즘이 노이즈에 과적합되지 않으며, 초기 정지를 필요로 하지 않음을 보여주어 사용자 우호성을 향상시킨다.
• 자기 정복에서의 정보 양은 상위 NTK 고유공간에 대한 투영 증가로 측정되며, 1500 반복 동안 일관되게 증가하여 깨끗한 신호를 점진적으로 학습함을 나타낸다.
• 학습률, 감독 강도, 네트워크 너비에 대한 특정 조건 하에서 알고리즘의 수렴이 보장되며, 필요한 학습 스텝 수에 대한 명시적 경계가 존재한다.
• ℓ₂ 수렴 결과는 이전의 0-1 손실 기반 수렴보다 더 나은 일반화를 보장하며, 이는 훈련 데이터에 대한 마진을 암시하기 때문이다.