[논문 리뷰] MetaDistiller: Network Self-Boosting via Meta-Learned Top-Down Distillation

Benlin Liu, Yongming Rao외 3명|arXiv (Cornell University)|2020. 08. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 29인용 수 8

한 줄 요약

MetaDistiller는 별도의 교사 모델이 필요 없이 학생 네트워크의 중간 레이어에 더 유사한 소프트 라벨을 생성하는 메타학습 기반 상향식 히든 레이어 정규화 방법을 제안한다. 깊은 특징 맵을 융합하는 라벨 생성기와 메타학습을 통해 최적화함으로써, 최신 자기 정규화 성능을 달성하며 CIFAR-100에서 최대 1.3% 향상되고 ImageNet에서 1.1% 향상된다.

ABSTRACT

Knowledge Distillation (KD) has been one of the most popu-lar methods to learn a compact model. However, it still suffers from highdemand in time and computational resources caused by sequential train-ing pipeline. Furthermore, the soft targets from deeper models do notoften serve as good cues for the shallower models due to the gap of com-patibility. In this work, we consider these two problems at the same time.Specifically, we propose that better soft targets with higher compatibil-ity can be generated by using a label generator to fuse the feature mapsfrom deeper stages in a top-down manner, and we can employ the meta-learning technique to optimize this label generator. Utilizing the softtargets learned from the intermediate feature maps of the model, we canachieve better self-boosting of the network in comparison with the state-of-the-art. The experiments are conducted on two standard classificationbenchmarks, namely CIFAR-100 and ILSVRC2012. We test various net-work architectures to show the generalizability of our MetaDistiller. Theexperiments results on two datasets strongly demonstrate the effective-ness of our method.

연구 동기 및 목표

• 순차적인 교사-학생 정규화 파이프라인의 비효율성과 높은 계산 비용을 해결하기 위해.
• 지식 정규화에서 깊은 교사 모델과 浅층 학생 네트워크 간의 호환성 격차를 극복하기 위해.
• 최종 레이어 출력에 의존하는 대신, 더 효과적인 레이어별 소프트 타겟을 생성하여 자기 정규화를 향상시키기 위해.
• 외부 교사 모델 없이도 종단 간, 자가 강화 학습을 가능하게 하기 위해.

제안 방법

• 깊은 단계의 특징 맵을 상향식으로 융합하여 각 중간 레이어의 소프트 타겟을 생성하는 라벨 생성기를 도입한다.
• 이중 레벨 메타학습을 통해 라벨 생성기를 최적화함으로써, 각 레이어의 표현 능력에 맞는 호환성 있는 소프트 타겟을 학습한다.
• 고수준의 의미적 특징이 얕은 레이어의 학습을 이끄는 상향식 정규화를 수행한다.
• 기존의 KD와 달리 온도와 같은 하이퍼파라미터 조정 없이도 소프트 타겟을 자동으로 생성한다.
• 추론 시 라벨 생성기는 제거되어 추론 효율성이 유지된다.
• 이 방법은 ResNet18, ResNet50, ResNet101와 같은 다양한 백본 아키텍처에 종단 간으로 적용된다.

실험 결과

연구 질문

• RQ1 별도의 교사 모델이 없이도 정규화 성능을 유지하거나 향상시킬 수 있는가?
• RQ2 표현 능력에 맞는 더 유사한 소프트 타겟을 얕은 레이어에 생성할 수 있는가?
• RQ3 메타학습을 활용해 다양한 네트워크 깊이와 레이어에 맞게 소프트 타겟 생성을 자동으로 적응시킬 수 있는가?
• RQ4 깊은 특징에서의 상향식 정규화가 최종 레이어 출력을 사용하는 표준 자기 정규화를 넘어서 일반화 성능을 향상시키는가?
• RQ5 생성된 소프트 타겟이 일항 라벨보다 더 많은 보조 지식을 포함하는가?

주요 결과

• CIFAR-100에서 MetaDistiller는 표준 자기 정규화 대비 ResNet18 정확도를 1.04% 향상시키고, 일항 라벨 학습 대비 0.99% 향상시킨다.
• ImageNet에서 MetaDistiller는 표준 자기 정규화 대비 1.1% 정확도 향상되고, 일항 라벨 학습 대비 0.8% 향상된다.
• CIFAR-100에서 ResNet101에 대해 MetaDistiller는 표준 자기 정규화 대비 0.85% 향상되고, 일항 라벨 학습 대비 0.75% 향상된다.
• 생성된 소프트 타겟은 최종 레이어 출력보다 더 부드럽고 얕은 레이어와 더 호환되며, 일항 분포에 가까운 특징을 보인다.
• 이 방법은 일항 라벨과 최종 레이어 소프트 라벨를 모두 능가하며, 분류 지도 학습을 넘어서서도 유용한 인덕티브 바이어스를 포함하고 있음을 시사한다.
• 시각화 결과는 얕은 레이어의 소프트 타겟이 깊은 레이어의 것보다 더 부드럽다는 것을 확인하며, 더 일반화된 특징 표현을 반영한다.