[논문 리뷰] Learning from a Teacher using Unlabeled Data

Gaurav Menghani, Sujith Ravi|arXiv (Cornell University)|2019. 11. 13.

Machine Learning and Data Classification참고 문헌 11인용 수 5

한 줄 요약

이 논문은 '블라인드 디스틸레이션'을 제안한다. 이는 다른 분포에서 온 순수하게 레이블이 없는 데이터에서 교사 모델의 소프트 레이블을 통해 학생 모델이 학습하는 방법이다. 레이블이 없는 예제를 한 번도 보지 못한 학생 모델도 패션-MNIST 데이터만을 사용하여 MNIST에서 96%의 정확도를 달성한다. 이는 지식 디스틸레이션이 원래 학습 데이터를 초월해 클래스 간 관계를 전이할 수 있음을 보여준다.

ABSTRACT

Knowledge distillation is a widely used technique for model compression. We posit that the teacher model used in a distillation setup, captures relationships between classes, that extend beyond the original dataset. We empirically show that a teacher model can transfer this knowledge to a student model even on an {\it out-of-distribution} dataset. Using this approach, we show promising results on MNIST, CIFAR-10, and Caltech-256 datasets using unlabeled image data from different sources. Our results are encouraging and help shed further light from the perspective of understanding knowledge distillation and utilizing unlabeled data to improve model quality.

연구 동기 및 목표

• 지식 디스틸레이션이 레이블이 없는 데이터에서 다른 분포에서 온 데이터를 사용해 교사 모델의 클래스 관계를 학생 모델로 전이할 수 있는지 조사하는 것.
• 원래 레이블이 있는 데이터셋에 대해 훈련된 레이블이 없는 데이터에서 학습한 학생 모델이 원래 레이블이 있는 데이터셋으로 일반화하는 데 효과적인지 평가하는 것.
• 블라인드 디스틸레이션에서 교사와 학생의 모델 아키텍처 호환성이 미치는 영향을 이해하는 것.
• 레이블이 없는 데이터가 지도 학습의 보조 훈련 신호로서의 잠재력을 평가하는 것.
• 모델 보안에 대한 영향을 탐색하여, 로그리트와 레이블이 없는 데이터만으로도 모델 성능을 복제할 수 있음을 보여주는 것.

제안 방법

• 레이블이 있는 데이터셋(예: MNIST)에서 교사 모델을 훈련하고, 파라미터를 동결하여 다른 분포에서 온 레이블이 없는 데이터(예: 패션-MNIST)에 대해 소프트 레이블(로지트)을 생성한다.
• 원래 레이블이 있는 데이터에 접근하지 못하는 조건에서, 학생 모델을 레이블이 없는 데이터에서 자신의 로지트와 교사의 로지트 간의 크로스 엔트로피 손실을 최소화하도록 훈련한다.
• t-SNE 시각화를 통해 교사 모델의 임베딩 공간을 분석하여, 서로 다른 데이터 분포 간에도 클래스 간 의미적 관계를 유지하고 있음을 보여준다.
• 블라인드 디스틸레이션을 거친 학생 모델을 원래 레이블이 있는 데이터셋의 소량의 데이터로 미세조정하여 성능을 향상시킨다.
• 다양한 교사-학생 아키텍처 조합(예: CNN-CNN, MLP-CNN)을 비교하여 아키텍처 호환성의 영향을 평가한다.
• 블라인드 디스틸레이션 후 및 미세조정 후 원래 테스트 세트에서의 정확도를 측정하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 학생 모델이 원래 학습 예제를 한 번도 보지 못한 채, 레이블이 없는 데이터에서 교사의 예측 결과만을 통해 레이블이 있는 데이터셋에서 높은 성능을 달성할 수 있는가?
• RQ2 교사 모델이 레이블이 없는 데이터에 대해 일반화할 수 있는 능력이 원래 데이터셋을 초월해 의미 있는 클래스 수준의 관계를 반영하는가?
• RQ3 교사와 학생 간 아키텍처 불일치가 블라인드 디스틸레이션 성능에 미치는 영향은 어떠한가?
• RQ4 블라인드 디스틸레이션과 미세조정을 조합하면 표준 지도 학습에 비해 유사하거나 더 높은 성능 향상을 이룰 수 있는가?
• RQ5 이 방법이 모델 보안에 미치는 영향은 무엇인가? 특히 모델의 로그리트에만 접근 가능한 상황에서의 영향을 고려한다.

주요 결과

• 패션-MNIST 데이터에서 블라인드 디스틸레이션을 통해 훈련한 학생 모델은 훈련 과정에서 어떤 MNIST 이미지도 본 적 없음에도 불구하고 MNIST 테스트 세트에서 96%의 정확도를 달성했다.
• 블라인드 디스틸레이션을 거친 학생 모델을 소량의 MNIST 레이블로 미세조정한 결과, 학생 모델이 MLP일 경우 정확도가 98.16%로 향상되었고, CNN일 경우 99.26%로 상승했다.
• 블라인드 디스틸레이션 성능은 교사-학생 아키텍처 호환성에 민감했으며, 아키텍처 불일치로 인해 정확도가 낮아졌지만, 미세조정을 통해 이를 해결할 수 있었다.
• 더 정확한 교사 모델은 학생 훈련 중 더 높은 크로스 엔트로피 손실을 기록했으며, 이는 더 복잡한 결정 경계를 학습하고 있음을 시사한다.
• t-SNE 시각화 결과, 교사 모델의 임베딩 공간은 의미적 관계를 유지하고 있었으며, 서로 다른 데이터셋에서 유사한 외관을 가진 이미지들이 서로 가까이 클러스터링되어 있었다.
• 캘테크-256 데이터셋에서 블라인드 디스틸레이션은 오픈이미지 데이터를 사용해 64.0%의 정확도를 기록했고, 미세조정 후 72.3%로 향상되어 다양한 변동성이 큰 데이터셋 간의 전이 가능성도 입증했다.