[논문 리뷰] Show, Attend and Distill:Knowledge Distillation via Attention-based Feature Matching

Mingi Ji, Byeongho Heo외 1명|arXiv (Cornell University)|2021. 02. 05.

Advanced Graph Neural Networks인용 수 8

한 줄 요약

이 논문은 지도 학습 기반 특징 정련(attention-based feature distillation, AFD)을 제안한다. AFD는 교사-학생 네트워크 간 효과적인 특징 수준 연결을 자동으로 식별하고 가중치를 부여하기 위해 주의 메커니즘을 사용하는 지식 정련 방법이다. 수동적인 연결 선택을 제거함으로써, AFD는 특징 유사도를 기반으로 동적으로 정련 강도를 할당함으로써, 기존의 L2T와 같은 방법보다 더 효율적인 훈련과 더 나은 일반화 능력을 보이며 모델 압축 및 전이 학습 과제에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Knowledge distillation extracts general knowledge from a pre-trained teacher network and provides guidance to a target student network. Most studies manually tie intermediate features of the teacher and student, and transfer knowledge through pre-defined links. However, manual selection often constructs ineffective links that limit the improvement from the distillation. There has been an attempt to address the problem, but it is still challenging to identify effective links under practical scenarios. In this paper, we introduce an effective and efficient feature distillation method utilizing all the feature levels of the teacher without manually selecting the links. Specifically, our method utilizes an attention-based meta-network that learns relative similarities between features, and applies identified similarities to control distillation intensities of all possible pairs. As a result, our method determines competent links more efficiently than the previous approach and provides better performance on model compression and transfer learning tasks. Further qualitative analyses and ablative studies describe how our method contributes to better distillation. The implementation code is available at github.com/clovaai/attention-feature-distillation.

연구 동기 및 목표

• 지식 정련에서 수동적인 특징 연결 선택의 한계를 해결함으로써, 교사-학생 네트워크 간에 최적화되지 않거나 비효율적인 연결이 발생하는 문제를 해결하고자 한다.
• 비용이 많이 들거나 고립된 게이트 메커니즘에 의존하지 않고도 효율적이고 효과적으로 가장 정보가 많은 특징 수준의 연결을 식별할 수 있는 방법을 개발하고자 한다.
• 모든 가능한 특징 쌍 간의 주의 기반 유사도 학습을 활용하여 모델 압축 및 전이 학습 성능을 향상시키고자 한다.
• L2T와 같은 메타학습 기반 정련 접근법에 비해 높은 계산 비용을 가지며 상호 연결 인식 능력이 부족한 기존 방법들에 비해 확장 가능하고 효율적이며 일반화 능력이 뛰어난 대안을 제공하고자 한다.

제안 방법

• 교사 및 학생 네트워크의 특징 맵 간의 쌍별 유사도를 다중 수준에서 계산하기 위해 주의 기반 메타넷을 도입한다.
• 주의 메커니즘은 쿼리-키 내적 유사도를 계산하며, 쿼리는 학생 특징에서 유도되고 키는 교사 특징에서 유도되어 정련 강도를 동적으로 가중치를 설정할 수 있다.
• 정련 손실은 주의 가중치를 특징 수준의 L2 또는 코사인 유사도 손실에 적용하여 계산되며, 이로써 모델은 가장 관련성이 높은 특징 쌍에 집중할 수 있다.
• 이 방법은 공훈련 설정에서 작동하며, 내부 루프 헤시안 계산이 필요 없이 학생 네트워크와 주의 기반 정련 헤드를 동시에 최적화한다.
• 주의 메커니즘은 쿼리, 키, 값의 투영을 사용하며, ReLU 및 항등 활성화 함수를 적용하고 표준 backpropagation을 통해 엔드 투 엔드로 훈련된다.
• 이 방법은 CRD 및 RKD와 같은 기존 정련 기법과 호환되며, 성능 향상을 위해 이를 조합할 수 있다.

실험 결과

연구 질문

• RQ1 수동적 개입 없이 주의 메커니즘이 교사-학생 네트워크 간 특징 수준 연결 중 가장 관련성이 높은 연결을 효과적으로 식별할 수 있는가?
• RQ2 주의 기반 특징 매칭은 수동적 또는 게이트 기반 연결 방법에 비해 정련 성능 및 계산 효율성 측면에서 어떻게 비교되는가?
• RQ3 주의 메커니즘이 다양한 네트워크 아키텍처 및 모델 압축 및 전이 학습과 같은 다양한 하류 작업에서 일반화 능력을 향상시키는가?
• RQ4 주의 기반 접근법은 특징 맵 크기나 채널 수의 차이 등 아키텍처 불일치 상황을 어떻게 다루는가?
• RQ5 스케일링 인자 β와 같은 하이퍼파rameter가 주의 기반 정련 과정의 안정성과 성능에 미치는 영향은 어떠한가?

주요 결과

• AFD는 모델 압축 과제에서 CIFAR-100, tinyImageNet, ImageNet에서 최신 기술 수준의 성능을 달성하며, 수동 및 L2T 기반 정련 방법을 모두 능가한다.
• MIT67 전이 학습 벤치마크에서 ResNet18 학생 네트워크를 사용할 경우 AFD는 75.07%의 정확도를 기록하여 L2T(74.85%)와 ATT(72.54%)를 능가하며 뛰어난 일반화 능력을 입증한다.
• 절단 분석에서 AFD는 특히 교사와 학생 네트워크의 아키텍처 설계가 다를 경우 랜덤 및 순서 기반 연결 전략보다 일관되게 뛰어난 성능을 보였다.
• 다양한 아키텍처에 대해 뛰어난 강인성을 보였으며, 공훈련 시 ResNet34 → WRN-28-2에서 AFD는 77.26%의 정확도를 기록했고, 순서 기반 연결 전략에 비해 76.07%보다 높았다.
• 감도 분석 결과, 하이퍼파rameter β는 성능에 측정 가능한 영향을 미치지만 관리 가능한 범위 내에 있으며, 최적의 값은 좁고 안정된 범위 내에서 발견되었다.
• AFD를 CRD와 조합하면 AFD 단독 사용 대비 정확도가 0.44%p 향상되었으며, 다른 정련 기법과의 호환성과 누적적 이점이 있음을 시사한다.