[논문 리뷰] Distilling Knowledge via Knowledge Review

Pengguang Chen, Shu Liu외 2명|arXiv (Cornell University)|2021. 04. 19.

Advanced Neural Network Applications참고 문헌 23인용 수 11

한 줄 요약

이 논문은 학생 네트워크의 성능을 햖스키를 위해 교사 네트워크의 다중 수준 및 교차 스테이지 특징을 사용하여 깊은 층을 감독하는 새로운 지식 정련 프레임워크인 '지식 리뷰'를 제안한다. 잔차 학습 프레임워크, 주의 기반 융합, 계층적 맥락 손실을 도입함으로써, 최소한의 계산 오버헤드로 인식 분류, 객체 검출, 인스턴스 세그멘테이션 등 다양한 과제에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Knowledge distillation transfers knowledge from the teacher network to the student one, with the goal of greatly improving the performance of the student network. Previous methods mostly focus on proposing feature transformation and loss functions between the same level's features to improve the effectiveness. We differently study the factor of connection path cross levels between teacher and student networks, and reveal its great importance. For the first time in knowledge distillation, cross-stage connection paths are proposed. Our new review mechanism is effective and structurally simple. Our finally designed nested and compact framework requires negligible computation overhead, and outperforms other methods on a variety of tasks. We apply our method to classification, object detection, and instance segmentation tasks. All of them witness significant student network performance improvement. Code is available at https://github.com/Jia-Research-Lab/ReviewKD

연구 동기 및 목표

• 기존 지식 정련 방법이 동일한 네트워크 스테이지 내에서만 지식을 전달한다는 한계를 해결하기 위해.
• 교사 및 학생 네트워크 간의 교차 스테이지 연결이 지식 정련에서 얼마나 효과적인지 조사하기 위해.
• 낮은 수준의 교사 특징을 활용해 깊은 학생 층을 지도함으로써 지식 전달을 향상시키는 단순하면서도 효과적인 프레임워크를 설계하기 위해.
• 추론 비용을 증가시키지 않으면서도 다양한 비전 과제—분류, 객체 검출, 인스턴스 세그멘테이션—에서 학생 네트워크 성능을 향상시키기 위해.

제안 방법

• 학습된 네트워크의 여러 층에서 얻은 교사 네트워크의 특징을 사용하여 학생 네트워크의 단일 층을 감독하는 '지식 리뷰' 메커니즘을 제안함으로써 교차 스테이지 지식 전달을 가능하게 한다.
• 지식 리뷰 동안 훈련 안정성과 특징 정제를 향상시키기 위해 잔차 학습 프레임워크를 도입한다.
• 각 학생 층에 대해 다중 수준의 교사 특징을 효과적으로 융합하기 위해 주의 기반 융합(ABF) 모듈을 설계한다.
• 정련 과정 중 다양한 스테이지 간의 구조적 및 의미적 맥락을 유지하기 위해 계층적 맥락 손실(HCL) 함수를 사용한다.
• 계산 효율성을 유지하기 위해 측정 단위별 특징 추출을 피하고, 교사 및 학생 네트워크의 스테이지별 특징 출력을 사용한다.
• ResNets, MobileNet, Mask R-CNN 등 다양한 아키텍처와 과제에 이 프레임워크를 적용하여 일관된 성능 향상을 확보한다.

실험 결과

연구 질문

• RQ1 낮은 수준의 교사 특징에서 깊은 학생 층으로 교차 스테이지 지식 전달이 이루어질 경우, 지식 정련에서 학생 성능 향상이 이루어지는가?
• RQ2 기존 방법이 동일 수준의 감독에만 의존함으로써 성능이 열등한 이유는 무엇이며, 어떤 구조적 제약에 부딪히는가?
• RQ3 다중 수준의 교사 특징을 효과적으로 융합하고 활용하여 단일 학생 층을 지도할 수 있는 방법은 무엇인가?
• RQ4 지식 리뷰 과정을 안정화하고 향상시키기 위해 필요한 아키텍처 구성 요소는 무엇인가?
• RQ5 제안된 방법이 분류, 검출, 인스턴스 세그멘테이션과 같은 다양한 비전 과제에 일반화되는가?

주요 결과

• 지식 리뷰 메커니즘이 평가된 모든 과제에서 학생 성능을 크게 향상시키며, MobileNetV2를 사용한 인스턴스 세그멘테이션에서 최대 3.19%의 정확도 향상을 기록한다.
• 교사의 낮은 수준 특징을 사용해 깊은 학생 층을 감독하는 것이 동일 수준 감독보다 더 좋은 성능을 내며, 교사 스테이지 1에서 학생 스테이지 4로 정련할 경우 최고의 성능를 기록한다.
• 제거 실험을 통해 리뷰 메커니즘, 잔차 학습, ABF, HCL 각 구성 요소가 점진적으로 기여하며, 전체 모델이 CIFAR-100에서 76.2%의 정확도를 달성하여 교사의 75.8%를 초월한다.
• ResNet50와 ResNet18 간의 정련에서 교사-학생 네트워크 간 성능 격차를 최대 51% 감소시킨다.
• 이 프레임워크는 계산 오버헤드가 거의 없는 수준에서 이미지 분류, 객체 검출, 인스턴스 세그멘테이션에서 최신 기술 수준의 성능을 달성한다.
• 계층적 맥락 손실과 주의 기반 융합은 다중 해상도 맥락을 유지하고 스테이지 간 특징 정렬을 향상시키는 데 핵심적인 역할을 한다.