[논문 리뷰] Transferring Inductive Biases through Knowledge Distillation

Samira Abnar, Mostafa Dehghani외 1명|arXiv (Cornell University)|2020. 05. 31.

Topic Modeling참고 문헌 57인용 수 13

한 줄 요약

이 논문은 강한 아키텍처적 인덕티브 바이어스를 가진 교사 모델(LSTM, CNN 등)에서 인도적인 바이어스를 인수 모델(Transformer, MLP 등)으로 전이시키는 지식 증류(KD) 방법을 조사한다. KD는 성능 향상 외에도 학습된 표현과 학습 동역학을 모두 교사 모델의 방식으로 이끌어내어 정량적 솔루션 특성까지 전이함을 보여준다.

ABSTRACT

Having the right inductive biases can be crucial in many tasks or scenarios where data or computing resources are a limiting factor, or where training data is not perfectly representative of the conditions at test time. However, defining, designing and efficiently adapting inductive biases is not necessarily straightforward. In this paper, we explore the power of knowledge distillation for transferring the effect of inductive biases from one model to another. We consider families of models with different inductive biases, LSTMs vs. Transformers and CNNs vs. MLPs, in the context of tasks and scenarios where having the right inductive biases is critical. We study the effect of inductive biases on the solutions the models converge to and investigate how and to what extent the effect of inductive biases is transferred through knowledge distillation, in terms of not only performance but also different aspects of converged solutions.

연구 동기 및 목표

• 지식 증류가 아키텍처가 다른 학습자 모델에 교사 모델의 인덕티브 바이어스 효과를 전이할 수 있는지 조사하는 것.
• KD가 성능 향상 외에도 표현 유사성과 학습 동역학 측면에서 학습자 모델이 교사의 인덕티브 바이어스를 반영하는 솔루션으로 이동하는지 검토하는 것.
• 제한된 데이터 또는 분포 이탈 상황(예: 동사-주어 일치, 손상된 MNIST)에서 인덕티브 바이어스의 영향을 평가하는 것.
• 다양한 교사-학습자 쌍(CNN → MLP, LSTM → Transformer 등)을 사용한 증류 효과를 비교하고, 전이된 인덕티브 바이어스가 학습자 행동에 질적으로 반영되는지 평가하는 것.

제안 방법

• 인덕티브 바이어스가 중요한 과제인 동사-주어 일치 및 손상된 MNIST(MNIST-C)에서 교사 모델(LSTM, CNN)과 학습자 모델(Transformer, MLP)을 훈련한다.
• 교사의 소프트 레이블(로짓)을 사용하여 지식 증류를 적용하고, 지식 전이를 향상시키기 위해 온도 스케일링을 사용한다.
• 학습 및 수렴 과정에서의 중간층 활성화의 표현 유사성 분석을 통해 솔루션 경로와 최종 표현을 비교한다.
• 표현 유사성의 2차원 투영을 통한 훈련 궤적 시각화를 통해 최적화 과정에서 모델의 진화 방식을 비교한다.
• 정확도, 기대 캘리브레이션 오차(ECE), 랜덤 시드에 따른 분산 등 다양한 평가 지표를 사용하여 안정성과 일반화 능력을 평가한다.
• 자기 증류와 아키텍처 간 증류를 포함한 다양한 교사-학습자 쌍에서의 증류 결과를 비교하여 인덕티브 바이어스 전이의 영향을 분리 분석한다.

실험 결과

연구 질문

• RQ1 지식 증류가 아키텍처가 다른 학습자 모델에 교사 모델의 인덕티브 바이어스를 전이할 수 있는가?
• RQ2 증류가 성능 향상 외에도 학습자 모델의 학습된 표현과 학습 동역학을 모두 교사 모델의 것과 일치시키는가?
• RQ3 강한 인덕티브 바이어스를 가진 모델(CNN 등)에서 증류를 통해 약한 인덕티브 바이어스를 가진 학습자(MLP 등)의 분포 외 데이터에서의 일반화 능력이 얼마나 향상되는가?
• RQ4 표현 진화 측면에서 증류된 모델의 학습 경로는 독립적으로 훈련된 모델과 어떻게 비교되는가?
• RQ5 학습자가 교사의 훈련 과정에 직접적인 액세스 없이도 교사의 인덕티브 바이어스가 학습자 모델이 수렴하는 솔루션 공간에 영향을 미치는가?

주요 결과

• CNN에서 MLP로의 증류는 번역된 MNIST 및 스케일링된 MNIST 벤치마크에서 일반화 능력을 크게 향상시킨다. 번역된 MNIST에서는 오차를 0.555에서 0.510으로 감소시키고, 스케일링된 MNIST에서는 0.432에서 0.373으로 감소시킨다.
• CNN에서 MLP로의 증류 시, 스케일링된 MNIST 테스트 세트에서 MLP와 CNN 간의 성능 격차는 거의 해소된다(증류 없이 0.033 vs. 0.013).
• 표현 유사성 분석 결과, CNN에서 증류된 MLP는 독립적으로 훈련된 MLP보다 CNN과 더 유사한 표현을 학습함을 확인하여, 인덕티브 바이어스의 질적 전이가 이루어졌음을 시사한다.
• 증류된 MLP의 학습 경로는 중간 훈련 상태에 액세스하지 못함에도 불구하고 독립적으로 훈련된 MLP보다 CNN 교사와 더 유사하게 진화한다.
• 자기 증류는 성능 향상이 미미한 반면, CNN에서 MLP로의 증류는 성능 향상과 분산 감소가著명하게 뛰어나, 아키텍처적 인덕티브 바이어스가 전이에 중요한 역할을 함을 시사한다.
• LSTM에서 Transformer로의 증류는 동사-주어 일치 과제에서 Transformer의 성능을 향상시키며, 그 솔루션을 LSTM의 것과 더 유사하게 만든다. 이는 순환적 인덕티브 바이어스의 전이가 확인됨을 의미한다.