[논문 리뷰] What Knowledge Gets Distilled in Knowledge Distillation?

Utkarsh Ojha, Yuheng Li외 3명|arXiv (Cornell University)|2022. 05. 31.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 정확도 향상 외에도 지식 증류 과정에서 전달되는 암묵적 지식이 무엇인지 조사하며, 학생 모델이 정확도 향상 외에도 교사의 결정 경계 특성—예를 들어 적대적 취약성, 색상에 대한 불변성, 형태/텍스처 편향—을 증류를 통해 상속함을 보여준다. 이는 명시적 목적이 없더라도 성립한다. 저자들은 기하학적 분석을 통해 학생 모델이 교사의 특징을 모방함으로써 교사의 결정 경계와 일치하게 되며, 이는 증류가 성능 향상 외에도 어떻게 작용하는지를 설명한다.

ABSTRACT

Knowledge distillation aims to transfer useful information from a teacher network to a student network, with the primary goal of improving the student's performance for the task at hand. Over the years, there has a been a deluge of novel techniques and use cases of knowledge distillation. Yet, despite the various improvements, there seems to be a glaring gap in the community's fundamental understanding of the process. Specifically, what is the knowledge that gets distilled in knowledge distillation? In other words, in what ways does the student become similar to the teacher? Does it start to localize objects in the same way? Does it get fooled by the same adversarial samples? Does its data invariance properties become similar? Our work presents a comprehensive study to try to answer these questions. We show that existing methods can indeed indirectly distill these properties beyond improving task performance. We further study why knowledge distillation might work this way, and show that our findings have practical implications as well.

연구 동기 및 목표

• 지식 증류 과정에서 성능 향상 외에 전달되는 암묵적 지식이 무엇인지 이해하기 위해.
• 학생 모델이 교사의 결정 경계 특성—예를 들어 적대적 강건성, 데이터 불변성, 편향—을 상속하는지 조사하기 위해.
• 이러한 특성들이 명시적 목적이 없음에도 불구하고 증류 과정에서 간접적으로 어떻게 전달되는지 분석하기 위해.
• 공정성 편향 등 실용적 영향을 탐색하기 위해, 예를 들어 교사에서 학생으로의 편향 전파 여부를 조사하기 위해.
• 특징 증류가 교사와 학생의 결정 경계를 어떻게 일치시켜주는지 기하학적 설명을 제공하기 위해.

제안 방법

• 저자들은 세 가지 최신 증류 방법—KL(출력 기반), Hint(중간 특징 기반), CRD(대비 기반)—을 평가한다.
• 다양한 도메인에서 교사와 학생 네트워크 간의 일치도를 측정하기 위해 삼중체 기반 평면 교차율(Intersection over Union, IoU)을 사용한 결정 경계 유사도를 활용한다.
• 분석 과정은 교사를 여러 도메인(예: MNIST-Orig, MNIST-Color, MNIST-M)에서 훈련한 후, 단일 도메인에서 증류를 수행하고, 모든 도메인에서 결정 경계 유사도를 측정하는 방식이다.
• 기하학적 시각을 적용하여 특징을 결정 경계로부터의 상대적 거리로 모델링함으로써, 이러한 거리를 모방하면 결정 경계가 일치하게 된다는 것을 보여준다.
• 형태/텍스처 편향 전이에 대한 분석 및 분해를 수행하며, 교사-학생 간 및 교사-독립 학생 간 예측의 일치도를 평가한다.
• 전이 효과를 분리하기 위해 제어된 데이터 분할을 사용한 MNIST 변형에서 실험을 수행한다.

실험 결과

연구 질문

• RQ1 지식 증류 과정에서 명시적 적대적 훈련이 없더라도, 학생 모델이 교사의 적대적 취약성을 상속받는가?
• RQ2 증류 과정을 통해 색상 불변성과 같은 불변성 특성을 교사에서 학생으로 전달할 수 있는가?
• RQ3 증류 과정에서 볼 수 없었던 데이터 도메인에 대해 학생 모델이 교사의 결정 경계 행동을 어느 정도 상속하는가?
• RQ4 명시적 목적이 없음에도 불구하고 증류 과정이 왜 교사와 학생의 결정 경계를 일치시키는가?
• RQ5 증류 과정을 통해 공정성 편향이나 형태/텍스처 편향과 같은 바람직하지 않은 편향이 교사에서 학생으로 전파될 수 있는가?

주요 결과

• KL 증류를 통해 훈련된 학생 모델은 교사의 적대적 취약성을 상속받으며, 이는 교사에 대해 제작된 적대적 예제에서 더 높은 오염률을 보여준다.
• KL 증류를 통해 훈련된 학생 모델과 교사 간의 결정 경계 유사도는 독립적으로 훈련된 학생 모델과의 유사도보다 뚜렷이 높으며, 특히 볼 수 없는 도메인에서 더욱 두드러진다(예: MNIST-Color에서 0.671 대비 0.416).
• MNIST-Color에서 KL 증류를 통해 훈련된 학생 모델은 결정 경계 유사도가 0.671을 기록하며, 독립적으로 훈련된 학생 모델의 0.416보다 높아 강력한 경계 전이를 나타낸다.
• Hint 방법은 MNIST-Color에서 가장 높은 유사도(0.798)를 기록하여 중간 특징 증류가 경계 일치에 특히 효과적임을 시사한다.
• CRD 방법은 중간 정도의 전이를 보이며, MNIST-M에서 유사도가 0.486로 나타나 KL 또는 Hint보다 경계 전이가 덜 효과적임을 나타낸다.
• 연구 결과에 따르면 증류 과정을 통해 형태/텍스처 편향을 전달할 수 있지만, 전이 정도는 증류 목표에 따라 달라지며, 일부 방법에서는 편향 전이에 차이가 있음을 보여준다.