[논문 리뷰] SimReg: Regression as a Simple Yet Effective Tool for Self-supervised Knowledge Distillation

K L Navaneet, Soroush Abbasi Koohpayegani외 2명|arXiv (Cornell University)|2022. 01. 13.

Neural Networks and Applications인용 수 5

한 줄 요약

이 논문은 자기지도 학습을 위한 단순하면서도 효과적인 지식 정복 방법인 SimReg를 제안한다. 이 방법은 훈련 중에 다층 퍼셉트론(MLP) 헤드를 사용하여 학생의 특징을 교사의 특징으로 회귀시키지만, 추론 시에는 이를 제거한다. 놀랍게도, 후자가 교사에 더 가까운 데도 불구하고, 백본 특징이 MLP 헤드 특징보다 성능이 뛰어나며, 동일한 약한 증강 이미지를 교사와 학생 모두에게 사용할 경우 성능이 향상되어, 최소한의 아키텍처 변경으로 ImageNet에서 최고 성능을 달성한다.

ABSTRACT

Feature regression is a simple way to distill large neural network models to smaller ones. We show that with simple changes to the network architecture, regression can outperform more complex state-of-the-art approaches for knowledge distillation from self-supervised models. Surprisingly, the addition of a multi-layer perceptron head to the CNN backbone is beneficial even if used only during distillation and discarded in the downstream task. Deeper non-linear projections can thus be used to accurately mimic the teacher without changing inference architecture and time. Moreover, we utilize independent projection heads to simultaneously distill multiple teacher networks. We also find that using the same weakly augmented image as input for both teacher and student networks aids distillation. Experiments on ImageNet dataset demonstrate the efficacy of the proposed changes in various self-supervised distillation settings.

연구 동기 및 목표

• 추론 시간이나 메모리에 영향을 주지 않으면서도 간단하고 효과적인 방법으로 자기지도 모델에서 지식 정복을 향상시키는 것.
• 최종 레이어 특징이 교사와 더 잘 맞는 데도 불구하고, 중간 레이어의 학생 특징이 최종 레이어 특징보다 성능이 뛰어나게 되는 이유를 조사하는 것.
• 정복 과정 중에 교사와 학생 모두에게 동일한, 약한 증강을 적용한 이미지를 사용할 경우의 이점 탐색.
• 각 교사마다 별도의 MLP 헤드를 사용하는 단일 학생 모델을 활용한 다중교사 정복의 효과 평가.
• 자기지도 및 지도 학습 교사 모델에서부터 깊은 MLP 헤드의 정복 성능을 평가하는 것.

제안 방법

• MLP 헤드는 정복 과정 동안에만 학생 네트워크의 백본에 추가되며, 추론 시에는 제거된다.
• MLP 헤드는 평균 제곱오차 손실을 사용하여 학생의 특징 표현을 교사의 잠재 특징에 맞추어 회귀시킨다.
• 정복 과정 중에 동일한 약한 증강 이미지를 교사 및 학생 네트워크의 입력으로 사용하여 정렬을 향상시킨다.
• 다중 교사 네트워크(MoCo-v2, BYOL, SwAV 등)를 동시에 정복하기 위해 각 교사마다 별도의 MLP 헤드를 사용한다.
• 다운스트림 평가에는 최종 MLP 레이어가 아닌 학생의 백본 특징을 사용한다. 이는 후자가 교사에 더 가까운 데도 불구하고 그렇다.
• 이 방법은 자기지도 및 지도 학습 교사 모델에 모두 적용 가능하며, 다양한 학습 프레임워크 간의 일반화를 입증한다.

실험 결과

연구 질문

• RQ1 최종 MLP 레이어 특징이 교사 표현에 더 가까운 데도 불구하고, 왜 학생의 백본 특징이 다운스트림 성능에서 더 뛰어나게 되는가?
• RQ2 교사와 학생 모두에게 동일한 약한 증강 이미지를 사용할 경우 정복 성능이 향상되는가?
• RQ3 추론 비용을 증가시키지 않고도 더 깊은 MLP 헤드가 정복 성능을 향상시킬 수 있는가?
• RQ4 각 교사마다 별도의 MLP 헤드를 사용하는 단일 학생 모델을 활용한 다중교사 정복의 효과는 어떠한가?
• RQ5 메모리 백업과 온도 스케일링에 의존하는 복잡한 최첨단 정복 기법들보다 이 방법이 더 우수한 성능을 내는가?

주요 결과

• 정복 과정 중에 4층의 MLP 헤드를 사용하면 다운스트림 성능이 크게 향상되어, 여러 자기지도 교사에서 정복할 경우 ImageNet에서 선형 평가 정확도가 66.9%에 도달한다.
• 학습된 MLP 레이어의 출력은 교사 표현에 더 가까운 데도 불구하고, 학생의 백본 특징이 더 뛰어나 66.9%의 선형 정확도를 기록한 반면, MLP 출력은 66.3%에 그친다.
• 교사와 학생 모두에게 동일한 약한 증강 이미지를 사용할 경우 최고의 성능(66.9% 선형 정확도)을 기록하며, 다른 또는 더 강한 증강을 사용한 경우보다 뛰어나다.
• 각 교사마다 별도의 4층 MLP 헤드를 사용한 다중교사 정복은 67.0%의 선형 정확도를 기록하여, 선형 헤드를 사용한 경우(동일한 설정에서 64.8%)에 비해 뚜렷이 뛰어나다.
• 지도 학습 ResNet-50 교사에서의 정복에도 MLP 헤드가 유용하며, 4층 헤드를 사용할 경우 73.5%의 선형 정확도를 기록한 반면, 선형 헤드를 사용할 경우 67.5%에 그친다.
• 이 방법은 추론 비용이나 모델 용량을 증가시키지 않으면서도 자기지도 정복 설정에서 ImageNet에서 최고 성능을 달성한다.