[논문 리뷰] Amalgamating Knowledge towards Comprehensive Classification

Chengchao Shen, Xinchao Wang외 3명|arXiv (Cornell University)|2018. 11. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 22인용 수 15

한 줄 요약

이 논문은 다수의 전문화된 교사 모델로부터 지식을 흡수함으로써 종합 분류를 수행할 수 있도록 경량화된 학생 네트워크를 훈련시키는 새로운 모델 재사용 작업인 지식 융합을 소개한다. 두 단계의 접근 방식—특징 융합 이후 계층별 파라미터 학습—을 통해 학생 모델은 인간의 주석 없이도 개별 교사 모델보다도 더 뛰어난 성능을 내는 데 성공한다.

ABSTRACT

With the rapid development of deep learning, there have been an unprecedentedly large number of trained deep network models available online. Reusing such trained models can significantly reduce the cost of training the new models from scratch, if not infeasible at all as the annotations used for the training original networks are often unavailable to public. We propose in this paper to study a new model-reusing task, which we term as \emph{knowledge amalgamation}. Given multiple trained teacher networks, each of which specializes in a different classification problem, the goal of knowledge amalgamation is to learn a lightweight student model capable of handling the comprehensive classification. We assume no other annotations except the outputs from the teacher models are available, and thus focus on extracting and amalgamating knowledge from the multiple teachers. To this end, we propose a pilot two-step strategy to tackle the knowledge amalgamation task, by learning first the compact feature representations from teachers and then the network parameters in a layer-wise manner so as to build the student model. We apply this approach to four public datasets and obtain very encouraging results: even without any human annotation, the obtained student model is competent to handle the comprehensive classification task and in most cases outperforms the teachers in individual sub-tasks.

연구 동기 및 목표

• 다양한 사전 훈련된 전문화된 딥 러닝 모델들을 하나의 통합된 분류 작업에 효과적으로 재사용하는 문제를 해결하기 위해.
• 기존 훈련 주석에 접근할 수 없더라도 교사 네트워크의 출력만을 활용하여 모델 재사용을 가능하게 하기 위해.
• 교사 모델이 다루는 모든 작업을 종합적으로 수행할 수 있는 경량 학생 모델을 개발하기 위해.
• 다양하고 전문화된 교사 모델들로부터의 지식가 효과적으로 융합하여 개별 교사 모델보다도 각 하위 작업에서 뛰어난 성능을 내는지 탐구하기 위해.

제안 방법

• 동일한 입력 샘플에 대해 다수의 교사 네트워크에서 추출한 특징 표현을 추출하고 스택한다.
• 다층 퍼셉트론(MLP)을 통해 스택된 특징을 압축하고 정제하여 컴act하고 구분력 있는 표현으로 변환한다.
• 융합된 특징을 이용해 학생 네트워크의 파라미터를 계층별로 훈련시킨다.
• 훈련의 안정성과 계층 간 오차 누적 감소를 위해 계층별 파라미터 학습을 구현한다.
• 계층별 전략의 효과를 비교하기 위해 기준으로서 공동 파라미터 학습을 구현한다.
• 융합된 특징을 학생 네트워크의 비매개변수 계층과 호환되는 형태로 변환하기 위해 특징 적응 모듈(FAM)을 도입한다.

실험 결과

연구 질문

• RQ1 단일 경량 학생 모델이 다수의 전문화된 교사 모델로부터의 지식 흡수를 통해 종합 분류를 효과적으로 학습할 수 있는가?
• RQ2 다양하고 이질적인 교사 모델들로부터의 지식 융합이 각각의 하위 작업에서 개별 교사 모델보다 더 뛰어난 성능을 내는가?
• RQ3 특징 융합 이후 계층별 파라미터 학습으로 구성된 제안된 이중 단계 전략은 견고한 학생 모델을 훈련시키는 데 얼마나 효과적인가?
• RQ4 특징 적응 모듈(FAM)이 특징 호환성과 모델 성능 향상에 얼마나 기여하는가?
• RQ5 수렴성과 최종 정확도 측면에서 공동 파라미터 학습이 계층별 학습보다 뛰어나게 성능을 내는가?

주요 결과

• 지식 융합을 통해 훈련된 학생 모델은 네 개의 데이터셋 전반에서 개별 교사 모델보다 각 하위 작업에서 더 높은 성능을 보였다.
• 스탠퍼드 도그 데이터셋에서, 학생 모델은 세 명의 교사로부터의 지식을 활용해 69.9%의 정확도를 달성했으며, 이는 해당 하위 작업에서 가장 우수한 교사 모델보다 높은 성능이었다.
• 네 명의 교사 모델을 활용한 경우, 학생 모델은 스탠포드 도그 데이터셋에서 70.3%의 정확도를 기록했으며, 이는 확장성과 성능 향상을 입증했다.
• 제거 실험에서 특징 적응 모듈(FAM)을 비활성화한 결과, 스탠포드 도그 데이터셋에서 정확도가 25.3%로 떨어졌고, FAM를 활성화한 경우 45.3%로 상승하여 그 효과를 입증했다.
• 계층별 파라미터 학습은 공동 학습에서의 초기 테스트 오차보다 뚜렷이 감소시켰으며, 제안된 전략을 사용할 경우 300 에포크에서 테스트 오차가 60% 이하로 떨어졌다.
• 모든 데이터셋에서 공동 파라미터 학습이 계층별 학습보다 뛰어난 성능을 보였으며, 이는 계층별 훈련에서의 오차 누적 문제가 공동 최적화에 의해 효과적으로 완화됨을 검증했다.