[논문 리뷰] Knowledge Amalgamation from Heterogeneous Networks by Common Feature Learning

Sihui Luo, Xinchao Wang외 4명|arXiv (Cornell University)|2019. 06. 24.

Advanced Neural Network Applications참고 문헌 12인용 수 6

한 줄 요약

이 논문은 서로 다른 아키텍처를 지닌 다수의 이질적 테이처 네트워크(각각 다른 작업에 특화됨)의 지식을 공통의 공통 공간에 특징을 투영함으로써 하나의 경량 학생 모델이 이를 통합하도록 훈련하는 지식 통합 프레임워크를 제안한다. 학생 모델은 인간의 애너테이션에 접근할 수 없음에도 불구하고 테이처의 변환된 특징과 소프트 레이블을 모방하도록 훈련되어 각각의 작업에서 개별 테이처를 뛰어넘는 성능을 달성한다.

ABSTRACT

An increasing number of well-trained deep networks have been released online by researchers and developers, enabling the community to reuse them in a plug-and-play way without accessing the training annotations. However, due to the large number of network variants, such public-available trained models are often of different architectures, each of which being tailored for a specific task or dataset. In this paper, we study a deep-model reusing task, where we are given as input pre-trained networks of heterogeneous architectures specializing in distinct tasks, as teacher models. We aim to learn a multitalented and light-weight student model that is able to grasp the integrated knowledge from all such heterogeneous-structure teachers, again without accessing any human annotation. To this end, we propose a common feature learning scheme, in which the features of all teachers are transformed into a common space and the student is enforced to imitate them all so as to amalgamate the intact knowledge. We test the proposed approach on a list of benchmarks and demonstrate that the learned student is able to achieve very promising performance, superior to those of the teachers in their specialized tasks.

연구 동기 및 목표

• 다른 아키텍처와 전문화된 작업을 가진 다수의 이질적 테이처 네트워크로부터 지식 디스틸레이션을 개발하는 것.
• 인간 애너테이션 훈련 데이터에 접근할 수 없음에도 지식 통합을 가능하게 하는 것.
• 다양한 테이처가 처리하는 모든 작업을 수행할 수 있는 단일의 경량 학생 모델을 훈련하는 것.
• 이질적인 아키텍처 간의 특징 수준 모방을 가능하게 하는 공통 특징 공간을 설계하는 것.
• 학생 모델이 각 테이처의 전문화된 작업에서 개별 테이처를 뛰어넘는 성능을 달성할 수 있음을 입증하는 것.

제안 방법

• 각 이질적 테이처의 특징을 공통 임베딩 공간에 투영하기 위해 공통 특징 추출기를 통해 공통 특징 공간을 학습한다.
• 학생 모델은 공통 공간에서 모든 테이처의 변환된 특징을 평균 제곱오차 손실을 사용하여 모방하도록 훈련된다.
• 병렬적으로 소프트 레이블 디스틸레이션을 적용하여 학생 모델이 테이처의 소프트 예측을 따라하도록 훈련한다.
• 변환된 테이처 특징의 분포를 공통 공간에서 정렬하기 위해 최대 평균 차이(MMD) 손실을 사용한다.
• 특징 모방과 소프트 레이블 디스틸레이션 목표를 조합하여 학생 모델을 엔드 투 엔드로 훈련한다.
• 공통 특징 추출기와 MMD 손실의 필요성을 평가하기 위해 오토에코더를 대체로 사용한 분석 연구를 수행한다.

실험 결과

연구 질문

• RQ1 다른 아키텍처를 지닌 다수의 이질적 테이처 네트워크에서 효과적으로 지식을 학습하고 통합할 수 있는 단일 학생 모델이 가능한가?
• RQ2 인간 애너테이션에 접근할 수 없을 때 이질적 테이처에서 학생 모델로 지식를 전달하는 방법은 무엇인가?
• RQ3 공통 공통 특징 공간에서의 학습이 직접 디스틸레이션 또는 특징 매칭보다 더 나은 지식 통합을 이끌어내는가?
• RQ4 학생 모델은 각 테이처의 전문화된 작업에서 개별 테이처를 뛰어넘을 수 있는가?
• RQ5 학생 모델이 테이처의 훈련 데이터와 다른 비정답 데이터로 훈련되었을 때 지식 통합 프레임워크의 강건성은 어떠한가?

주요 결과

• 다수의 이질적 테이처에서 훈련된 학생 모델은 각 테이처의 전문화된 작업에서 개별 테이처보다 뛰어난 성능을 달성한다.
• CUB200-2011 및 Stanford Dogs 데이터셋에서 학생 모델은 CUB200-2011에서 최고의 테이처보다 1.3% 높고, Stanford Dogs에서는 1.1% 높은 성능을 기록한다.
• 테이처의 훈련 데이터와 다를 수 있는 어려운 비정답 데이터로 훈련되었을 때도 학생 모델은 CFP-FP에서 86.36%의 성능을 기록하여 KD를 능가하고 강건성을 보여준다.
• 분석 연구를 통해 공통 특징 추출기와 MMD 손실이 모두 필수적임을 확인하였으며, 둘 다 사용했을 때 최고의 성능가를 기록한다.
• t-SNE를 통한 시각화 결과 학생의 특징이 공통 공간에서 테이처의 특징 중심 주변에 군집되어 있음을 확인하여 효과적인 지식 통합을 확인한다.
• 학생 모델는 인간 애너테이션 데이터 없이도 모든 작업을 성공적으로 수행하면서도 소형 크기를 유지하여 효율적인 지식 통합을 입증한다.