[논문 리뷰] Knowledge Transfer via Dense Cross-Layer Mutual-Distillation

Anbang Yao, Dawei Sun|arXiv (Cornell University)|2020. 08. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 58인용 수 4

한 줄 요약

이 논문은 밀도 높은 교차층 상호-편미분(Dense Cross-Layer Mutual-Distillation, DCM)을 제안하며, 보조 분류기와 밀도 높은 이방향 편미분을 통해 은닉층 간 및 대응되지 않는 층 간에 이중 지식 전이를 수행하는 두 가지 네트워크를 동시에 학습하는 방법이다. 이 방법은 최종 모델에 추가 파rameter를 추가하지 않고 표현 학습과 성능 향상을 달성하며, 이미지 분류 벤치마크에서 기존의 일방향 및 이중 방향 KD 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Knowledge Distillation (KD) based methods adopt the one-way Knowledge Transfer (KT) scheme in which training a lower-capacity student network is guided by a pre-trained high-capacity teacher network. Recently, Deep Mutual Learning (DML) presented a two-way KT strategy, showing that the student network can be also helpful to improve the teacher network. In this paper, we propose Dense Cross-layer Mutual-distillation (DCM), an improved two-way KT method in which the teacher and student networks are trained collaboratively from scratch. To augment knowledge representation learning, well-designed auxiliary classifiers are added to certain hidden layers of both teacher and student networks. To boost KT performance, we introduce dense bidirectional KD operations between the layers appended with classifiers. After training, all auxiliary classifiers are discarded, and thus there are no extra parameters introduced to final models. We test our method on a variety of KT tasks, showing its superiorities over related methods. Code is available at https://github.com/sundw2014/DCM

연구 동기 및 목표

• 일방향 지식 편미분의 한계를 해결하기 위해, 사전에 학습된 고정된 교사 네트워크에 의존하는 기존 방법은 학습 중 교사 네트워크를 향상시킬 수 없다.
• 학생 및 교사 네트워크의 중간층에 보조 분류기를 도입하여 지식 표현 학습을 향상시키기 위해 깊이 있는 감독을 제공한다.
• 대응되는 층과 대응되지 않는 층 간에 이중 방향, 밀도 높은 교차층 편미분을 통해 상호 지식 전이를 향상시키기 위해 설계된다.
• 학습 후 최종 모델에 추가 파rameter를 도입하지 않고도 우수한 성능 향상을 달성하기 위해 설계된다.
• 깊이 있는 감독과 상호 편미분을 통한 공동 학습이 기존의 KD나 DML보다 더 우수한 일반화 성능을 달성함을 입증한다.

제안 방법

• 학생 및 교사 네트워크의 특정 은닉층에 보조 분류기를 추가하여 깊이 있는 감독을 가능하게 하고 중간층의 지도 신호를 제공한다.
• 학생 및 교사 네트워크의 동일 단계 및 다른 단계의 층 간에 밀도 높은 이중 방향 지식 편미분을 적용하며, 양쪽 네트워크의 소프트 레이블을 사용한다.
• 보조 분류기의 확률적 출력을 활용하여 층 간 지식 전이를 수행함으로써, 서로 다른 단계의 특징 간의 의미적 갭을 줄인다.
• 학습 후 보조 분류기는 제거되어 최종 학생 또는 교사 모델에 추가 파rameter가 남지 않는다.
• 이 방법은 사전에 학습된 교사가 필요 없이 학생 및 교사 네트워크를 동시에 초기 상태에서 공동으로 학습하며, 교차 엔트로피 손실과 편미분 손실을 조합한 다중 분지 손실을 사용한다.
• 아키텍처는 ResNet-18/ResNet-50 및 MobileNetV2 백본에서 평가되었으며, 특징 계층의 일致성을 유지하기 위해 전략적으로 다운샘플링 단계에 보조 분류기를 배치하였다.

실험 결과

연구 질문

• RQ1 학생 및 교사 네트워크의 중간층에 보조 분류기를 도입하여 깊이 있는 감독을 제공함으로써 이중 방향 지식 전이 성능을 향상시킬 수 있는가?
• RQ2 동일 단계 및 다른 단계의 층 간에 밀도 높은 이중 방향 편미분을 적용하면 기존의 표준 일방향 또는 이중 방향 KD보다 더 나은 표현 학습과 성능 향상을 이룰 수 있는가?
• RQ3 사전에 학습된 고정된 교사에 의존하지 않고, 학생 및 교사 네트워크를 동시에 초기 상태에서 공동 학습함으로써 더 뛰어난 성능을 달성할 수 있는가?
• RQ4 보조 분류기의 사용이 상호 편미분 과정에서 서로 다른 네트워크 깊이 간의 의미적 정렬에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 추론 시 추가 파rameter 없이도 학생 및 교사 네트워크 간의 성능 격차를 어느 정도 줄이는가?

주요 결과

• DCM은 동일 조건에서 기존의 일방향 KD 및 이중 방향 DML 방법보다 이미지 분류 작업에서 최고 성능을 달성한다.
• 중간층에 보조 분류기를 추가함으로써 지식 표현 학습이 크게 향상되어 더 우수한 일반화 및 더 빠른 수렴 속도를 달성한다.
• 특히 대응되지 않는 층 간에 밀도 높은 교차층 이중 방향 편미분은 의미적 갭을 줄이고 네트워크 간 특징 전달을 향상시킨다.
• 기존의 KD 기반 방법보다 CIFAR-100 및 ImageNet 데이터셋에서 더 높은 정확도 향상을 달성하였으며, 사전에 학습된 교사가 없어도 성능 향상이 가능하다.
• 모든 보조 분류기는 학습 후 제거되어 최종 모델에 추가 파rameter가 없어 자원 제약이 있는 장치에 배포하기에 적합하다.
• 제거 실험을 통해 깊이 있는 감독과 이중 방향 편미분이 모두 성공의 핵심 요소임을 확인하였으며, 각각 독립적으로 성능 향상에 기여한다.