[논문 리뷰] Subclass Distillation

Rafael Rios Müller, Simon Kornblith외 1명|arXiv (Cornell University)|2020. 02. 10.

Process Optimization and Integration참고 문헌 17인용 수 8

한 줄 요약

이 논문은 저클래스 데이터셋을 위한 지식 증류를 향상시키기 위해 각 클래스를 여러 개의 학습된 서브클래스로 분할하는 방법인 서브클래스 증류를 제안한다. 교사 네트워크를 통해 서브클래스 확률을 증류하고, 대조 보조 손실을 사용함으로써, 학생 모델은 직접 이진 레이블에 대한 감독 없이도 더 나은 일반화 성능과 더 빠른 수렴을 달성한다.

ABSTRACT

After a large "teacher" neural network has been trained on labeled data, the probabilities that the teacher assigns to incorrect classes reveal a lot of information about the way in which the teacher generalizes. By training a small "student" model to match these probabilities, it is possible to transfer most of the generalization ability of the teacher to the student, often producing a much better small model than directly training the student on the training data. The transfer works best when there are many possible classes because more is then revealed about the function learned by the teacher, but in cases where there are only a few possible classes we show that we can improve the transfer by forcing the teacher to divide each class into many subclasses that it invents during the supervised training. The student is then trained to match the subclass probabilities. For datasets where there are known, natural subclasses we demonstrate that the teacher learns similar subclasses and these improve distillation. For clickthrough datasets where the subclasses are unknown we demonstrate that subclass distillation allows the student to learn faster and better.

연구 동기 및 목표

• 이진 분류와 같이 클래스 정보가 제한적인 저클래스 시나리오에서 전통적인 지식 증류의 비효율성을 해결한다. 이는 전이 효과를 떨어뜨린다.
• 데이터 내 숨겨진 서브클래스 구조를 활용하여 자원이 제한된 응용 프로그램에 대한 모델의 일반화 능력과 학습 효율성을 향상시킨다.
• 사전에 서브클래스 구조에 대한 지식이 없더라도, 이진 레이블만으로도 의미적으로 유의미한 서브클래스를 학습하는 교사로부터 증류를 가능하게 한다.
• 학생 모델이 교사의 동일 클래스 내 서브클래스 확률을 모방함으로써, 타깃 클래스에 대한 직접적 감독 없이도 이진 분류 작업을 간접적으로 학습할 수 있음을 보여준다.

제안 방법

• 기존 클래스당 s개의 서브클래스에 대한 로그리트를 출력하도록 딥 교사 네트워크를 훈련시키며, 최종 클래스 확률은 서브클래스 확률의 합으로 유도한다.
• 각 예측을 모멘텀 업데이트된 큐에서 자기 자신과 대조함으로써 서브클래스의 다양성과 확신도를 증진시키는 보조 대조 손실을 도입한다.
• 서브클래스 로그리트의 소프트맥스에 온도 스케일링을 적용하여 서브클래스 간 상대적 차이를 강조하면서도 내부 클래스 관계를 유지한다.
• 학생 네트워크를 두 개의 크로스엔트로피 손실을 사용하여 훈련한다: 하나는 원래 클래스 레이블에 대한 것이고, 다른 하나는 교사의 서브클래스 확률 분포를 모방하는 것이다.
• 훈련 중 서브클래스 표현 학습을 안정화하기 위해 교사의 모멘텀 인코더에 모멘텀 업데이트를 적용한다.
• 알려진 (CIFAR-2x5, MNIST-2x5) 및 알려지지 않은 (CelebA, Criteo) 서브클래스 구조를 가진 데이터셋에 대해 종단 간 방식으로 이 방법을 적용하여 일반화 능력과 효율성을 평가한다.

실험 결과

연구 질문

• RQ1 이진 레이블만 제공되었을 때, 교사 네트워크는 이진 분류 과제에서 의미적으로 의미 있는 서브클래스를 발견할 수 있는가?
• RQ2 서브클래스 확률에서 증류하는 것이 기존 증류 또는 마지막 층 증류보다 더 나은 일반화 성능을 보이는가?
• RQ3 학생 모델이 교사의 내부 클래스 서브클래스 확률의 상대적 비율을 모방함으로써, 타깃 클래스에 대한 직접적 감독 없이도 이진 분류 과제를 학습할 수 있는가?
• RQ4 데이터가 제한되거나 서브클래스 구조가 알려지지 않았을 때, 서브클래스 증류는 학습 속도와 성능에 어떤 영향을 미치는가?
• RQ5 학습된 서브클래스가 실제 세계 데이터셋의 알려진 또는 자연스러운 데이터 구조와 어느 정도 관련이 있는가?

주요 결과

• CIFAR-2x5에서, 교사는 서브클래스 학습을 통해 원래의 CIFAR-10 클래스를 성공적으로 발견하였으며, 서브클래스 증류를 통해 1.83%의 오차율을 기록하여 기존 증류 및 마지막 층 증류를 초월했다.
• CelebA에서, 교사가 학습한 서브클래스는 그가 훈련된 바 없는 다른 이진 레이블과 강한 상관관계를 보였으며, 이는 의미론적 유의미성과 향상된 증류 성능을 시사한다.
• Criteo 클릭 예측 데이터셋에서, 서브클래스 증류는 더 빠른 수렴과 더 나은 성능을 달성했으며, 특히 학생 모델이 전체 데이터셋에 제한된 액세스를 가질 경우 두드러졌다.
• MNIST-2x5에서, 학생 모델은 이진 레이블을 한 번도 보지 않고도 상대적 서브클래스 확률만을 학습함으로써 2.06% ± 0.18의 오차율을 달성하여 타깃 작업의 간접적 학습을 입증했다.
• 보조 대조 손실은 다양하고 확신 있는 서브클래스 예측을 효과적으로 장려하였으며, 여러 데이터셋에서 서브클래스 구조가 의미론적으로 일관성을 보였다.
• 특히 데이터가 적은 환경에서 서브클래스 증류는 표준 증류보다 더 많은 비트를 예측에 전달하여 정보 전송 효율성이 높음을 보였다.