[논문 리뷰] Zero-shot Knowledge Transfer via Adversarial Belief Matching

Paul Micaelli, Amos Storkey|arXiv (Cornell University)|2019. 05. 23.

Adversarial Robustness in Machine Learning참고 문헌 43인용 수 33

한 줄 요약

이 논문은 어댑터 제너레이터를 사용해 교사와 학생 간의 발산을 최대화하는 의사 입력을 생성하여 데이터 없이도 학생이 교사를 모방하도록 학습시켜, CIFAR-10 및 SVHN에서 특히 제로샷 증류를 가능하게 한다.

ABSTRACT

Performing knowledge transfer from a large teacher network to a smaller student is a popular task in modern deep learning applications. However, due to growing dataset sizes and stricter privacy regulations, it is increasingly common not to have access to the data that was used to train the teacher. We propose a novel method which trains a student to match the predictions of its teacher without using any data or metadata. We achieve this by training an adversarial generator to search for images on which the student poorly matches the teacher, and then using them to train the student. Our resulting student closely approximates its teacher for simple datasets like SVHN, and on CIFAR10 we improve on the state-of-the-art for few-shot distillation (with 100 images per class), despite using no data. Finally, we also propose a metric to quantify the degree of belief matching between teacher and student in the vicinity of decision boundaries, and observe a significantly higher match between our zero-shot student and the teacher, than between a student distilled with real data and the teacher. Code available at: https://github.com/polo5/ZeroShotKnowledgeTransfer

연구 동기 및 목표

• 대규모 교사에서 작은 학생으로의 지식 전달을 데이터 접근 없이 가능하게 하려는 동기부여 및 구현.
• 교사와 학생이 가장 다르게 응답하는 입력을 식별하는 적대적 데이터 생성 프로세스 개발.
• 표준 비전 벤치마크(SVHN, CIFAR-10)에서 제로샷 증류를 시연하고 데이터 의존적 기준선과 비교.
• 의사 결정 경계 근처의 교사-학생 정렬을 정량화하는 신념 매칭 지표 도입.

제안 방법

• 사전 학습된 교사 T(x)와 학생 S(x;θ) 및 노이즈 z~N(0,I)에서 의사 입력 x_p를 생성하는 제너레이터 G(z;φ) 정의.
• 의사 데이터에서 학생을 학습시키는 주 손실로 순방향 KL 발산 D_KL(T(x_p) || S(x_p)) 사용.
• 교사와 학생이 발산하는 입력을 찾도록 G를 최대화하도록 업데이트하여 D_KL(T(x_p) || S(x_p))를 최대화.
• G를 반복적으로 훈련(n_G 단계)하고 고정된 x_p에서 S를 훈련(n_S 단계)하여 교사와의 정렬을 맞춤.
• 활성화 블록 전반에 걸친 주의(attention) 기반 정규화 항을 포함하여 피처 정렬을 촉진하는 옵션(β 항).
• 생성기가 쉽게 속지 않도록 높은 엔트로피의 학생 출력을 의존하고, 의사 샘플을 다양하고 정보적으로 만듭니다.

실험 결과

연구 질문

• RQ1 신경망 학생이 실제 학습 데이터나 메타데이터에 접근하지 않고도 교사를 모방하도록 학습할 수 있는가?
• RQ2 적대적으로 생성된 의사 데이터가 표준 데이터셋에서 효과적인 제로샷 증류를 가능하게 하는가?
• RQ3 제로샷 학생은 결정 경계 근처에서 교사에 얼마나 근접하는가, 그리고 이것을 어떻게 정량화할 수 있는가?
• RQ4 보조 손실(예: 주의 기반 정렬)이 제로샷 지식 전달에 미치는 영향은 무엇인가?

주요 결과

• 제로샷 방법은 실제 데이터를 사용하지 않고도 학생이 교사를 밀접하게 근사하도록 허용하며 CIFAR-10 및 SVHN에서 경쟁력 있는 결과를 얻는다.
• CIFAR-10에서 제안된 손실로 제로샷 증류는 83.69%의 테스트 정확도를 달성하여 이전 소수 샷 방법보다 개선되며, 클래스당 100장의 이미지로 미세 조정한 후 85.91%에 도달한다.
• 주의 항 terms를 포함한 제안 손실을 사용하면 기본 KL 손실만 사용할 때보다 여러 교사–학생 쌍에서 더 나은 성능을 보인다.
• 제로샷 설정에서 하이퍼파라미터 변화 및 데이터셋 이동에도 강건하며 검증 데이터 없이 하이퍼파라미터 튜닝이 가능하다.
• 제로샷 경쟁자들과 비교했을 때, 이 방법은 유사하거나 더 적은 모델 수로 CIFAR-10에서 현저한 정확도 우위를 보여준다.
• 의사 결정 경계 근처의 전이 곡선을 기반으로 한 지표는 제로샷 학생이 실제 데이터로 증류한 학생보다 교사의 신념을 더 가까이 반영한다는 것을 보여준다.