[논문 리뷰] Even your Teacher Needs Guidance: Ground-Truth Targets Dampen Regularization Imposed by Self-Distillation

Kenneth Borup, Lars Nørvang Andersen|arXiv (Cornell University)|2021. 02. 25.

Adversarial Robustness in Machine Learning참고 문헌 39인용 수 5

한 줄 요약

이 논문은 커널 회귀에서 자기 정규화(self-distillation)에 대한 최초의 이론적 분석을 제공하며, 각 정규화 단계에서 진짜 타겟(ground-truth targets)을 포함시키는 것이 효과적으로 정규화를 증폭시킨다고 보여준다. 최적의 가중치 파rameter에 대한 폐쇄형 해를 유도하고, 무한한 정규화 단계가 커널 리지 회귀 문제로 수렴함을 증명하며, 자기 정규화가 단순 지식 전이를 넘어서 일반화 성능을 향상시키는 이유를 설명한다.

ABSTRACT

Knowledge distillation is classically a procedure where a neural network is trained on the output of another network along with the original targets in order to transfer knowledge between the architectures. The special case of self-distillation, where the network architectures are identical, has been observed to improve generalization accuracy. In this paper, we consider an iterative variant of self-distillation in a kernel regression setting, in which successive steps incorporate both model outputs and the ground-truth targets. This allows us to provide the first theoretical results on the importance of using the weighted ground-truth targets in self-distillation. Our focus is on fitting nonlinear functions to training data with a weighted mean square error objective function suitable for distillation, subject to $\ell_2$ regularization of the model parameters. We show that any such function obtained with self-distillation can be calculated directly as a function of the initial fit, and that infinite distillation steps yields the same optimization problem as the original with amplified regularization. Furthermore, we provide a closed form solution for the optimal choice of weighting parameter at each step, and show how to efficiently estimate this weighting parameter for deep learning and significantly reduce the computational requirements compared to a grid search.

연구 동기 및 목표

• 자기 정규화가 새로운 데이터 없이 일반화 성능을 향상시키는 이유를 이론적으로 설명하는 것.
• μat-정규화 하에서 반복적 자기 정규화에서 진짜 타겟의 역할을 분석하는 것.
• 각 정규화 단계에서 최적의 가중치 파rameter $\alpha$에 대한 폐쇄형 해를 유도하는 것.
• 커널 회귀 프레임워크 내에서 무한한 정규화 단계의 극한 행동을 기술하는 것.
• 자기 정규화가 증폭된 정규화를 가진 커널 리지 회귀 문제를 푸는 것과 동일시하는 것.

제안 방법

• 진짜 타겟과 모델 예측 타겟을 결합한 가중 평균 제곱 오차 목적함수를 사용하여 자기 정규화를 반복 최적화 문제로 공식화한다.
• 과도하게 파ram터화된 영역에서 딥 러닝 일반화를 모델링하기 위해 $μat$-정규화를 적용한 커널 리지 회귀를 사용한다.
• 각 정규화 단계의 최적 해를 유도하기 위해 카루시-쿠른-타커(Karush-Kuhn-Tucker, KKT) 조건을 적용한다.
• 그린 함수와 커널 행렬의 스펙트럼 분해를 사용하여 최적의 가중치 파rameter $\alpha$에 대한 폐쇄형 표현을 유도한다.
• 단계 $\tau$에서의 해가 초기 피팅과 가중치 파aram터의 순서에만 의존한다는 것을 증명한다.
• 무한한 정규화 단계의 극한이 정규화 파aram터가 $\frac{1}{1-\alpha}$로 확대된 원래 문제를 푸는 것과 동일하다는 것을 증명한다.

실험 결과

연구 질문

• RQ1 반복적 자기 정규화에서 진짜 타겟의 포함이 정규화 강도에 어떤 영향을 미치는가?
• RQ2 각 정규화 단계에서 진짜 타겟과 모델 예측 타겟 간 최적의 가중치는 무엇인가?
• RQ3 무한한 자기 정규화가 잘 정의된 최적화 문제로 수렴하는가?
• RQ4 반복적 자기 정규화 과정이 폐쇄형 해로 축소될 수 있는가?
• RQ5 자기 정규화는 증폭된 정규화를 가진 커널 리지 회귀와 어떻게 관련이 있는가?

주요 결과

• 자기 정규화를 통해 도출된 모든 모델은 반복적 재학습 없이도 초기 모델 피팅에서 직접 계산할 수 있다.
• 무한한 정규화 단계는 정규화 파aram터가 $\frac{1}{1-\alpha}$로 확대된 커널 리지 회귀 문제의 해와 동일한 해로 수렴한다.
• 각 단계에서 최적의 가중치 파aram터 $\alpha$는 커널 행렬과 타겟 노름에서 유도된 폐쇄형 표현을 가진다.
• 그리드 서치 없이도 $\alpha$를 효율적으로 추정할 수 있어 계산 비용을 크게 감소시킨다.
• 이론적 프레임워크는 자기 정규화가 일반화 성능을 향상시키는 이유를 설명한다: 과도하게 파aram터화된 모델에서 과적합을 줄이기 위해 실제로 정규화를 증폭시키기 때문이다.
• 각 단계 $\tau$에서의 해는 $\mathbf{y}^{(\tau)} = \mathbf{g}(\mathbf{x})^\top (\mathbf{G} + \lambda_\tau \mathbf{I})^{-1} (\alpha \mathbf{y} + (1-\alpha)\mathbf{y}^{(\tau-1)})$로 표현되며, 이는 정규화를 커널 방법과 연결한다.