[논문 리뷰] Knowledge Transfer with Jacobian Matching

Suraj Srinivas, François Fleuret|arXiv (Cornell University)|2018. 03. 01.

Reinforcement Learning in Robotics참고 문헌 20인용 수 58

한 줄 요약

본 논문은 교사와 학생 네트워크 간의 야코비안 매칭이 입력 잡음이 있는 증류와 등가임을 보이고, 실용적인 손실 형태를 도출하며, 증류, 잡음 강건성, 전이 학습에서의 개선을 입증한다.

ABSTRACT

Classical distillation methods transfer representations from a "teacher" neural network to a "student" network by matching their output activations. Recent methods also match the Jacobians, or the gradient of output activations with the input. However, this involves making some ad hoc decisions, in particular, the choice of the loss function. In this paper, we first establish an equivalence between Jacobian matching and distillation with input noise, from which we derive appropriate loss functions for Jacobian matching. We then rely on this analysis to apply Jacobian matching to transfer learning by establishing equivalence of a recent transfer learning procedure to distillation. We then show experimentally on standard image datasets that Jacobian-based penalties improve distillation, robustness to noisy inputs, and transfer learning.

연구 동기 및 목표

• 다양한 아키텍처 간의 네트워크 간 지식 전달을 야코비안 정보를 이용해 자극한다.
• 야코비안 매칭과 입력 잡음 기반 증류 사이의 이론적 등가를 확립한다.
• 증류 및 전이 학습에 적용 가능한 야코비안 매칭의 실용적 손실 함수를 도출한다.
• 야코비안 기반 페널티가 증류, 잡음에 대한 강건성, 전이 학습에서 성능을 개선함을 실험적으로 입증한다.

제안 방법

• 일차 테일러 전개를 통해 야코비안을 매칭하는 것이 입력 잡음이 있는 증류와 등가임을 도출한다.
• 제곱 오차 증류 손실과 다양한 손실 함수(제곱 오차 및 교차 엔트로피) 하에서 야코비안 규제 항을 도출한다.
• 계산량 감소를 위해 올바른 클래스와 가장 큰 크기와 관련된 출력에 집중하는 전체 야코비안의 실용적 근사치를 도입한다.
• 전이 학습 프레임워크에 야코비안 매칭을 통합하고, Learning without Forgetting(LwF) 및 주의도(attention-map) 매칭과의 연계성을 다룬다.
• 크로스-아키텍처 전이 학습이 가능하도록 주의도 기반 근사 및 선택적 야코비안 계산을 활용한다.
• CIFAR-100 증류, 잡음 강건성, MIT Scenes 전이 학습에 대한 실증적 검증을 제공한다.

실험 결과

연구 질문

• RQ1 야코비안 매칭을 입력 잡음이 있는 증류로 해석할 수 있으며, 이 등가성에 해당하는 손실은 무엇인가?
• RQ2 야코비안 기반 규제가 특히 데이터가 적은 상황에서 증류의 성능을 개선하는가?
• RQ3 야코비안 매칭을 임의의 아키텍처 간의 전이에 효과적으로 적용할 수 있는가, 그리고 이것이 LwF 및 주의도 전략과 어떻게 관련되는가?
• RQ4 야코비안 규제가 입력 잡음에 대한 강건성을 향상시키는가?
• RQ5 깊은 네트워크 및 크로스-아키텍처 시나리오에서 효율적인 야코비안 매칭을 가능하게 하는 실용적 근사화는 무엇인가?

주요 결과

# of Data points per class	Cross-Entropy (CE) training	CE + match activations	CE + match Jacobians	CE + match activations + Jacobians	Match activations only	Match activations + Jacobians
1	5.69	12.13	6.78	13.78	10.73	13.09
5	13.90	26.97	23.94	33.39	28.56	33.31
10	20.03	33.92	32.03	39.55	33.60	38.16
50	37.60	46.47	45.71	49.49	45.73	47.79
100	44.92	50.92	51.47	52.43	50.15	50.06
500 (full)	54.28	56.65	53.44	54.57	56.59	51.33

• 야코비안 매칭은 입력 잡음이 있는 증류와 등가이며 손실에 추가적인 야코비안 규제 항을 제공한다.
• CIFAR-100에서의 제한된 데이터 증류에서 활성화와 야코비안의 결합이 활성화만 사용한 증류보다 정확도를 개선하고, 데이터의 일부만으로도 전체 데이터 성능에 근접한다.
• 야코비안 노름 패널티는 가우시안 잡음에 대한 강건성을 향상시키며, 잡음 강건성 테스트에서 표준 L2 정규화 및 드롭아웃보다 우수하다.
• 전이 학습에서 활성화와 주의도에 더해 야코비안 매칭을 도입하면 특히 저데이터 상황에서 이득이 있다.
• 야코비안 손실을 얕은 특성 계층에서 매칭하면 전이 성능이 더 좋아지며, 활성화/주의도 매칭에 더해지는 야코비안 기반 방법은 결과를 지속적으로 개선한다.