[논문 리뷰] Knowledge Flow: Improve Upon Your Teachers

Iou Jen Liu, Jian Peng외 1명|arXiv (Cornell University)|2019. 04. 11.

Neural Networks and Applications인용 수 19

한 줄 요약

지식 플로우는 아키텍처나 작업의 차이가 있는 다수의 다양한 딥 네트워크(선생)에서 한 명의 학생 네트워크로 지식을 전이하는 방법을 제안한다. 횡방향 연결과 지식 정련을 활용함으로써, 학생 네트워크는 지도학습 및 강화학습 작업에서 파인튜닝 및 기준 모델을 능가하며, CIFAR-10과 아타리 환경에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

A zoo of deep nets is available these days for almost any given task, and it is increasingly unclear which net to start with when addressing a new task, or which net to use as an initialization for fine-tuning a new model. To address this issue, in this paper, we develop knowledge flow which moves 'knowledge' from multiple deep nets, referred to as teachers, to a new deep net model, called the student. The structure of the teachers and the student can differ arbitrarily and they can be trained on entirely different tasks with different output spaces too. Upon training with knowledge flow the student is independent of the teachers. We demonstrate our approach on a variety of supervised and reinforcement learning tasks, outperforming fine-tuning and other 'knowledge exchange' methods.

연구 동기 및 목표

• 새로운 작업에서 초기화를 위한 최적의 사전 훈련 모델을 선택하는 문제를 해결하기 위해, 특히 다양한 관련성을 가진 여러 모델이 존재할 경우에 유용하게 작용한다.
• 기존의 지식 전이 방법의 한계를 극복하기 위해 — 예를 들어 파rameter 증가, 단일 선생 모델에 의존성, 이질적인 아키텍처나 출력 공간을 처리할 수 없는 점 — 이를 해결하고자 한다.
• 훈련 후에 학생 네트워크가 구조적 또는 파rametric한 의존성을 유지하지 않고도 다수의 선생 모델로부터 독립적으로 학습할 수 있도록 보장하고자 한다.
• 고품질 및 열악한 성능의 선생 모델을 효과적으로 활용하여 일반화 능력과 새로운 작업에서의 성능을 향상시키며, 잘못된 지식을 피하고자 한다.

제안 방법

• 지식 플로우는 선생과 학생 네트워크 간의 횡방향 연결을 활용하여, 다양한 아키텍처 간의 특징 수준의 지식 전이를 가능하게 한다.
• 학생 네트워크는 지도학습 또는 강화학습 목표와 다수의 선생 모델로부터의 지식 정련을 결합한 손실 함수를 사용하여 훈련된다. 이때 소프트 레이블 또는 가치 함수를 활용한다.
• 이 방법은 선생 모델이 다른 작업에서 훈련되었거나 다른 출력 공간을 가졌더라도, 학생의 출력 분포를 선생의 분포와 일치시키기 위해 지식 정련을 적용한다.
• 최종적으로 수렴한 후 학생 모델은 선생 모델에 대한 의존성이 없어지도록, 작업별 손실과 정련 손실의 조합을 통해 종합적으로 훈련된다.
• 이 프레임워크는 선생과 학생 양쪽에 대해 임의의 네트워크 아키텍처를 지원하며, 훈련 후 학생이 선생 모델에 대한 잔여 연결을 유지할 필요가 없다.
• 이 방법은 지도학습(예: CIFAR-10/100)과 강화학습(예: 아타리 게임)에 모두 적용되며, 교차 엔트로피나 A3C 손실과 같은 표준 훈련 목표를 사용한다.

실험 결과

연구 질문

• RQ1 다양한 아키텍처와 작업을 가진 다수의 이질적인 딥 네트워크에서, 아키텍처 제약 없이 한 명의 학생 모델로 지식을 효과적으로 전이할 수 있는가?
• RQ2 특히 일부 선생 모델이 열악한 성능을 보일 경우, 지식 플로우가 파인튜닝 및 기타 지식 정련 방법보다 우수한 성능을 내는가?
• RQ3 무제한 수의 선생 모델에서 지식을 활용하면서도, 학생 모델의 크기를 고정한 채로 파라미터 폭발을 방지할 수 있는가?
• RQ4 지식 플로우는 지도학습 및 강화학습 환경 모두에서 효과적이며, 다양한 작업과 데이터 분포에 걸쳐 일반화되는가?

주요 결과

• CIFAR-10에서 C100과 SVHN을 선생 모델로 사용한 지식 플로우는 테스트 오차를 3.88%로 낮춰, 기준 모델인 Densenet(4.44%)과 C100에서의 파인튜닝(4.27%)을 모두 초월했다.
• CIFAR-100에서는 지식 플로우가 20.78%의 테스트 오차를 기록하여, 기준 모델(21.64%)과 C10(20.83%) 및 SVHN(21.02%)에서의 파인튜닝보다 향상된 성능을 보였다.
• 지식 플로우는 열악한 선생 모델(SVHN)의 부정적 영향을 효과적으로 완화하여, 파인튜닝에서 관찰된 성능 저하를 방지했다.
• 아타리 환경에서 지식 플로우는 파인튜닝 및 이전의 지식 전이 방법을 모두 능가했으며, 강화학습 환경에서의 효과성을 입증했다.
• 훈련 후 학생 모델은 선생 모델에 대한 잔여 의존성이나 파라미터 증가 없이 완전히 독립적인 상태가 되었으며, 다수의 선생 모델이 존재하더라도 마찬가지였다.
• 다양한 작업과 데이터 분포에 걸쳐 일관된 향상이 관찰되어, 이 방법의 일반화 능력과 선생 모델 품질의 변동에 대한 강건성을 입증했다.