[논문 리뷰] Neural Networks Are More Productive Teachers Than Human Raters: Active Mixup for Data-Efficient Knowledge Distillation from a Blackbox Model

Dongdong Wang, Yandong Li외 2명|arXiv (Cornell University)|2020. 03. 31.

Domain Adaptation and Few-Shot Learning참고 문헌 49인용 수 4

한 줄 요약

이 논문은 실재 데이터와 교사 모델 쿼리 수를 최소화하면서 블랙박스 교사 모델로부터 지식을 흡수할 수 있는 데이터 및 쿼리 효율적인 지식 증류 방법인 Active Mixup를 제안한다. 이 방법은 혼합된 합성 이미지를 사용하며, 활성 학습을 통해 학생 신경망을 훈련시킨다. 성능은 화이트박스 증류 방법과 비슷하거나 뛰어나며, 의미 없는 혼합 이미지를 레이블링할 수 있는 능력 덕분에 블랙박스 교사 모델이 인간 평가자보다 더 생산성이 높다는 것을 입증한다.

ABSTRACT

We study how to train a student deep neural network for visual recognition by distilling knowledge from a blackbox teacher model in a data-efficient manner. Progress on this problem can significantly reduce the dependence on large-scale datasets for learning high-performing visual recognition models. There are two major challenges. One is that the number of queries into the teacher model should be minimized to save computational and/or financial costs. The other is that the number of images used for the knowledge distillation should be small; otherwise, it violates our expectation of reducing the dependence on large-scale datasets. To tackle these challenges, we propose an approach that blends mixup and active learning. The former effectively augments the few unlabeled images by a big pool of synthetic images sampled from the convex hull of the original images, and the latter actively chooses from the pool hard examples for the student neural network and query their labels from the teacher model. We validate our approach with extensive experiments.

연구 동기 및 목표

• 최소한의 레이블된 데이터와 낮은 쿼리 비용으로 블랙박스 교사 모델에서 지식을 증류하는 데 도전하는 것.
• 고성능 시각 인식 모델 훈련을 위한 대규모 데이터셋에 대한 의존도를 줄이는 것.
• 교사 모델에 접근이 불가능하거나 쿼리 비용이 높을 경우 지식 증류의 데이터 효율성과 쿼리 효율성을 향상시키는 것.
• 의미 없는 혼합 이미지가 실제 데이터와 효과적으로 대체될 수 있는지 검증하는 것, 특히 의미 없는 경우에도 말이다.
• 블랙박스 교사 모델이 의미 없는 혼합 이미지를 레이블링할 수 있다는 점을 바탕으로 인간 평가자보다 학생 네트워크를 더 잘 가르칠 수 있음을 보여주는 것.

제안 방법

• 다양한 계수를 가진 기존의 레이블이 없는 이미지의 선형 조합을 통해 생성된 혼합 이미지를 사용해 대규모의 합성 이미지 풀을 생성한다.
• 학생 네트워크의 예측 결과를 바탕으로 가장 불확실한 혼합 이미지를 선택하며, 동일한 원본 이미지 쌍에서 유래한 중복된 이미지를 제거함으로써 다양성을 우선시한다.
• 선택된 높은 불확실성의 혼합 이미지에 대해서만 블랙박스 교사 모델을 쿼리하고, 그 출력 결과를 학생 모델 훈련을 위한 가짜 레이블로 간주한다.
• 최근에 쿼리된 레이블을 사용해 학생 네트워크를 반복적으로 재훈련함으로써 불확실성 추정치를 개선하고 성능을 다각도로 향상시킨다.
• 중복 쿼리를 방지하기 위해 각 원본 이미지 쌍에서 가장 높은 불확실성의 혼합 이미지만 선택하도록 다각도 제약 조건(C₂ in Eq. 3)을 적용한다.
• 결과적으로 생성된 가짜 레이블이 부여된 혼합 이미지 데이터를 사용해 학생 모델을 훈련시으며, 이로써 실제 테스트 이미지에 대해 잘 일반화될 수 있도록 한다.

실험 결과

연구 질문

• RQ1 혼합된 합성 이미지가 블랙박스 교사 모델에서 지식을 증류하는 데 효과적인 훈련 데이터로 기능할 수 있는가?
• RQ2 혼합 이미지와 활성 학습을 조합함으로써 블랙박스 교사 모델에 대한 쿼리 수를 크게 줄일 수 있으며, 학생 모델의 성능을 유지하거나 향상시킬 수 있는가?
• RQ3 최소한의 실제 데이터를 사용할 때, 블랙박스 교사 모델에서의 증류 성능은 화이트박스 교사 모델과 비교해 어떻게 되는가?
• RQ4 외부 도메인 데이터(예: CIFAR-100 이미지)를 사용해 목표 도메인(예: CIFAR-10)에 대한 효과적인 합성 훈련 데이터를 생성할 수 있는 정도는 어느 정도인가?
• RQ5 의미 없는 혼합 이미지로만 훈련된 학생 모델이 여전히 실제 테스트 이미지에서 높은 정확도를 달성할 수 있는가?

주요 결과

• Active Mixup는 2,000장의 외부 도메인 이미지와 80,000장의 합성 혼합 이미지를 사용해 CIFAR-10에서 83.03%의 top-1 정확도를 달성했으며, 이는 내부 도메인 설정에서 80,000장의 실제 이미지를 사용한 87.89% 정확도와 비슷한 성능이다.
• 40,000장의 선택된 합성 이미지와 2,000장의 실제 이미지를 사용했을 때 77.89%의 정확도를 기록했으며, 이는 실제 데이터가 제한된 상황에서도 뛰어난 성능을 보임을 보여준다.
• 일반적인 활성 학습과 무작위 탐색보다 성능이 뚜렷이 뛰어나며, 특히 혼합 이미지 선택 시 다각도 제약 조건 덕분에 큰 격차(예: CIFAR-10에서 83.03% 대비 71.39%)를 보인다.
• 외부 도메인 데이터(CIFAR-100)에서 유래한 합성 이미지만을 사용해도 80,000장의 합성 이미지로 83.03%의 정확도를 달성했으며, 이는 데이터 도메인 이동에 대해 매우 강건함을 보여준다.
• 실제 데이터 없이 혼합 이미지만으로 훈련된 학생 모델도 10,000장의 합성 이미지를 사용해 64.10%의 정확도를 기록했으며, 이는 혼합 이미지가 증류 과정에서 데이터 증강에 실질적인 기여를 할 수 있음을 입증한다.
• 블랙박스 교사 모델은 의미 없는 혼합 이미지를 레이블링할 수 있기 때문에 인간 평가자보다 더 생산성이 높으며, 인간은 이러한 이미지를 평가할 수 없다.