[논문 리뷰] KTAN: Knowledge Transfer Adversarial Network

Peiye Liu, Wu Liu외 3명|arXiv (Cornell University)|2018. 10. 18.

Advanced Neural Network Applications참고 문헌 21인용 수 15

한 줄 요약

KTAN은 교사 네트워크에서 중간 특징 맵과 확률 분포를 모두 전달함으로써 학생 네트워크 성능을 향상시키는 지식 전이 적대적 네트워크를 제안한다. 특징 맵의 공간적 상관관계를 유지하기 위해 적대적 훈련을 사용하고, 아키텍처 간의 구조적 호환성을 확보하기 위해 Teacher-to-Student 레이어를 도입함으로써 KTAN은 이미지 분류 및 객체 검출 벤치마크에서 기존 KD 방법을 능가하는 최신 기술 성능을 달성한다.

ABSTRACT

To reduce the large computation and storage cost of a deep convolutional neural network, the knowledge distillation based methods have pioneered to transfer the generalization ability of a large (teacher) deep network to a light-weight (student) network. However, these methods mostly focus on transferring the probability distribution of the softmax layer in a teacher network and thus neglect the intermediate representations. In this paper, we propose a knowledge transfer adversarial network to better train a student network. Our technique holistically considers both intermediate representations and probability distributions of a teacher network. To transfer the knowledge of intermediate representations, we set high-level teacher feature maps as a target, toward which the student feature maps are trained. Specifically, we arrange a Teacher-to-Student layer for enabling our framework suitable for various student structures. The intermediate representation helps the student network better understand the transferred generalization as compared to the probability distribution only. Furthermore, we infuse an adversarial learning process by employing a discriminator network, which can fully exploit the spatial correlation of feature maps in training a student network. The experimental results demonstrate that the proposed method can significantly improve the performance of a student network on both image classification and object detection tasks.

연구 동기 및 목표

• 지식 정련 방법이 소프트맥스 확률 분포에만 집중하고 중간 특징 표현을 忽略하는 데서 비롯되는 한계를 해결하기 위해.
• 시각 작업에 매우 중요하지만 일반적으로 직접 특징 매칭에서 忽略되는 특징 맵의 공간적 상관관계를 유지함으로써 지식 전이를 향상시키기 위해.
• 소프트맥스 레이어가 없는 네트워크 아키텍처를 포함한 다양한 학생 네트워크 아키텍처에 적용 가능한 일반화 가능한 프레임워크를 개발하기 위해.
• 복잡한 공간적 구조를 모델링하기 위해 특징 맵 전달과 적대적 학습을 조합함으로써 학생 네트워크 일반화 성능을 향상시키기 위해.

제안 방법

• 프레임워크는 교사 네트워크의 마지막 합성곱 레이어에서 추출한 고수준 특징 맵을 공유 지식으로 사용한다.
• 교사와 학생 네트워크 간의 특징 맵 차원을 정렬하기 위해 Teacher-to-Student 레이어를 도입하여 다양한 아키텍처 간 호환성을 확보한다.
• 생성적 적대적 네트워크(GAN)-기반 훈련 프로세스를 적용하며, 구분자(discriminator)는 실제 교사 특징 맵과 생성된 학생 특징 맵을 구분한다.
• 학생 네트워크는 이중 목적을 통해 훈련되며, 교사 특징을 매칭하기 위한 MSE 손실 최소화와 구분자를 속이기 위한 적대적 손실 최대화를 동시에 수행한다.
• 기본 작업을 위한 진짜 레이블을 사용하여 전체 학생 네트워크를 종합적으로 최적화함으로써 엔드 투 엔드 성능 향상을 보장한다.
• 이 방법은 분류 및 객체 검출 작업에 모두 적용되어 광범위한 적용 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 적대적 훈련을 통해 교사 네트워크 특징 맵의 공간적 상관관계 정보를 학생 네트워크로 효과적으로 전달할 수 있는가?
• RQ2 소프트맥스 확률 분포 전달 외에 중간 표현을 전달할 경우 학생 네트워크 일반화 성능 향상에 어떤 영향을 미치는가?
• RQ3 소프트맥스 레이어가 없는 네트워크 아키텍처를 포함한 다양한 학생 네트워크 아키텍처를 지원할 수 있는 통합 프레임워크를 설계할 수 있는가?
• RQ4 직접 특징 매칭을 초월해 MSE 손실과 적대적 손실을 조합함으로써 특징 맵 정렬 성능이 얼마나 향상되는가?
• RQ5 제안된 방법은 이미지 분류 및 객체 검출과 같은 다양한 컴퓨터 비전 작업에 일반화되는가?

주요 결과

• PASCAL VOC 2007 객체 검출 벤치마크에서 KTAN은 평균 정밀도(mAP) 72.78%를 기록하여 KD(70.92%), FitNet(71.41%), DLN(71.54%)를 모두 능가했다.
• KTAN을 통해 향상된 지식 정련(KTAN+KD)을 적용한 경우 mAP는 72.91%에 도달하여 다중 지식 전이 전략을 조합함으로써 효과적인 것을 입증했다.
• Figure 2에서 보듯이 KTAN 모델은 검출 성능을 크게 향상시켰으며, 노란색 경계 상자는 원래 학생 네트워크보다 추가로 정확하게 검출된 객체를 나타내고, 빨간색 상자는 감소된 오분류를 나타낸다.
• 프레임워크는 ResNet-152 교사에서 ResNet-50 학생으로 고수준 특징 표현을 성공적으로 전달하여 학생이 공간적으로 일관되고 의미적으로 풍부한 특징을 학습하도록 했다.
• 제거 분석(ablation study)은 적대적 훈련이 특징 맵의 공간적 상관관계를 효과적으로 포착하여 직접 특징 매칭보다 더 우수한 일반화 성능을 이끌어낸다는 것을 확인했다.
• KTAN은 이미지 분류 및 객체 검출 작업 모두에서 최신 기술 성능을 달성하여 다양한 시각 작업 간의 일반화 능력을 입증했다.