[논문 리뷰] Knowledge Transfer via Distillation of Activation Boundaries Formed by Hidden Neurons

Byeongho Heo, Minsik Lee외 2명|arXiv (Cornell University)|2018. 11. 08.

Neural Networks and Applications참고 문헌 23인용 수 56

한 줄 요약

본 논문은 뉴런이 활성화되는지 여부를 전이하는 방식으로 활성화 경계 증류를 도입하고, 활성화 전이 손실과 미분 가능 힌지 유사 대안을 사용하여 지식 전달 및 전이 학습을 기존 방법보다 개선한다.

ABSTRACT

An activation boundary for a neuron refers to a separating hyperplane that determines whether the neuron is activated or deactivated. It has been long considered in neural networks that the activations of neurons, rather than their exact output values, play the most important role in forming classification friendly partitions of the hidden feature space. However, as far as we know, this aspect of neural networks has not been considered in the literature of knowledge transfer. In this paper, we propose a knowledge transfer method via distillation of activation boundaries formed by hidden neurons. For the distillation, we propose an activation transfer loss that has the minimum value when the boundaries generated by the student coincide with those by the teacher. Since the activation transfer loss is not differentiable, we design a piecewise differentiable loss approximating the activation transfer loss. By the proposed method, the student learns a separating boundary between activation region and deactivation region formed by each neuron in the teacher. Through the experiments in various aspects of knowledge transfer, it is verified that the proposed method outperforms the current state-of-the-art.

연구 동기 및 목표

• 활성화 크기보다는 뉴런의 활성화 경계에 초점을 맞춰 지식 전달을 향상시키려는 동기를 제시한다.
• 교사와 학생 간의 뉴런 활성화 상태 차이를 최소화하는 활성화 전이 손실을 제안한다.
• 기울기 기반 최적화를 위한 비미분 가능한 활성화 전이 손실을 근사하는 미분 가능 대체 손실을 개발한다.
• 연결 함수(connecter function)를 통해 네트워크 크기가 다를 때를 처리하고, 공간적으로 공유된 전이를 갖는 합성곱 신경망으로 방법을 확장한다.
• 다양한 전이 학습 시나리오에서 최첨단 방법들에 비해 우수함을 입증한다.

제안 방법

• 비선형성 이전의 활성화를 가지는 교사 T(I)와 학생 S(I)로 정의한다.
• 활성화 경계에 초점을 맞춘 활성화 전이 손실 L(I) = ||rho(T(I)) - rho(S(I))||1을 도입한다.
• 해당 활성화 전이 손실을 근사하고 기울기 기반 최적화를 가능하게 하는 힌지 손실에 유사한 미분 가능 대체 손실을 제공한다.
• 훈련을 안정시키기 위한 여유(mu) 매개변수를 도입하고 그래디언트 동작을 도출한다.
• 네트워크 크기가 다를 때 학생 출력이 교사 크기의 표현으로 매핑되도록 연결 함수 r를 허용한다.
• 공유된 1x1 연결기를 사용하여 공간 위치에 걸쳐 손실을 합산함으로써 프레임워크를 합성곱 신경망으로 확장한다.

실험 결과

연구 질문

• RQ1 교사와 학생 간의 활성화 경계 전이가 활성화 크기 기반 전이보다 지식 전달을 개선할 수 있는가?
• RQ2 활성화 중심의 증류 방법이 다양한 아키텍처와 데이터 규모에서 기존 KD 기반 및 관련 전이 방법들보다 우수한가?
• RQ3 제안된 방법이 적은 학습 데이터 및 네트워크 압축(크기/차원 차이) 상황에서의 전이 학습에서 어떻게 수행되는가?
• RQ4 이 방법이 합성곱 신경망 및 공간적 특징 맵으로 효과적으로 확장될 수 있는가?

주요 결과

• 제안된 활성화 경계 증류 방법은 여러 실험 설정에서 최첨단 전이 방법들을 일관되게 능가한다.
• 이 방법은 학습 속도와 일반화 성능을 향상시키며, 특히 적은 학습 데이터에서 더 두드러진다.
• 전이 학습 태스크에서 이 방법은 종종 전통적인 ImageNet 사전 학습 베이스라인을 능가한다.
• 연결 함수는 교사와 학생의 크기가 다를 때 지식 전달을 가능하게 하며, 효과적인 압축 시나리오를 가능하게 한다.
• 실험 평균 결과는 강건한 활성화 경계 전이를 보여주고, 차등 분석으로 본 방법이 비미분가능한 활성화 전이 손실에 근접하게 근사함을 시사한다.
• 분석에 따르면 제안된 접근법은 Lp 기반 손실보다 교사-학생 간 활성화 유사성을 더 높게 달성하면서도 더 나은 분류 성능을 제공한다.