[논문 리뷰] Generalized Bayesian Posterior Expectation Distillation for Deep Neural Networks

Meet P. Vadera, Brian Jalaian외 1명|arXiv (Cornell University)|2020. 05. 16.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 4

한 줄 요약

이 논문은 베이지안 어두운 지식(Bayesian Dark Knowledge)을 확장하여 임의의 사후 기대값—예를 들어 예측 분포와 기대 엔트로피—을 온라인 몬테카를로 샘플링을 사용해 압축된 학생 모델에 흡수하는 일반화된 베이지안 사후 기대값 정련 프레임워크를 제안한다. 이 방법은 OOD(Out-of-Distribution) 탐지 및 불확실성 순위 매기기와 같은 후행 불확실성 작업에서 기존 방법보다 정밀도와 실용성 측면에서 뛰어난 성능을 보이며, 다양한 아키텍처와 데이터셋에서 뛰어난 정련 정밀도를 확보한다.

ABSTRACT

In this paper, we present a general framework for distilling expectations with respect to the Bayesian posterior distribution of a deep neural network classifier, extending prior work on the Bayesian Dark Knowledge framework. The proposed framework takes as input "teacher" and student model architectures and a general posterior expectation of interest. The distillation method performs an online compression of the selected posterior expectation using iteratively generated Monte Carlo samples. We focus on the posterior predictive distribution and expected entropy as distillation targets. We investigate several aspects of this framework including the impact of uncertainty and the choice of student model architecture. We study methods for student model architecture search from a speed-storage-accuracy perspective and evaluate down-stream tasks leveraging entropy distillation including uncertainty ranking and out-of-distribution detection.

연구 동기 및 목표

• 과도하게 확신하는 예측을 내보내며 불확실성 캘리브레이션에 빈약한 점추정 기반 딥러닝 모델의 한계를 해결하기 위해.
• 예측 분포 정련을 넘어서 일반적인 사후 기대값, 예를 들어 기대 엔트로피를 포함한 베이지안 어두운 지식을 확장하기 위해.
• 체계적 아키텍처 탐색을 통해 학생 모델의 속도-저장공간-정확도 트레이드오프를 세밀하게 제어하기 위해.
• 불확실성 정량화가 필요한 후행 작업, 예를 들어 OOD 탐지 및 불확실성 순위 매기기에서 일반화된 사후 정련의 실용성을 평가하기 위해.
• 정련 성능이 학생 모델의 용량에 매우 민감하며, 아키텍처 탐색을 통해 최적의 트레이드오프를 효과적으로 식별할 수 있음을 입증하기 위해.

제안 방법

• 프레임워크는 사후 가중치의 몬테카를로 샘플로 표현된 교사 모델과 학생 모델 아키텍처를 입력으로 받는다.
• 교사의 사후 분포에서 반복적으로 몬테카를로 샘플을 생성함으로써 일반적인 사후 기대값(예: 사후 예측 분포 또는 기대 엔트로피)을 온라인으로 정련한다.
• 지식 정련 기반 손실 함수를 사용하여 교사의 사후 기대값과 학생의 기대값 간의 격차를 최소화함으로써, 학생 모델이 교사의 사후 기대값을 모방하도록 훈련시킨다.
• 모델 크기, 추론 속도, 정확도의 균형을 맞추기 위해 너비 배수 전략을 활용한 아키텍처 탐색을 수행한다.
• 총 불확실성 및 지식 불확실성과 같은 다수의 불확실성 통계량을 정련할 수 있도록 지원하여, 후행 불확실성 인식 작업을 가능하게 한다.
• 표준 정련 메트릭과 OOD 탐지 및 nDCG 기반 불확실성 순위 매기기와 같은 후행 작업을 통해 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 예측 및 엔트로피 기대값에 대해 일반화된 사후 기대값 정련이 베이지안 어두운 지식보다 정련 성능에서 어떻게 비교되는가?
• RQ2 정련 성능는 학생 모델 아키텍처 선택에 얼마나 민감한가? 아키텍처 탐색을 통해 속도-저장공간-정확도 트레이드오프를 효과적으로 식별할 수 있는가?
• RQ3 엔트로피 기반 정련은 OOD 탐지 및 불확실성 순위 매기기와 같은 후행 불확실성 인식 작업에서 성능 향상에 기여하는가?
• RQ4 Malinin 등(2020)의 EnD 2 방법과 비교해 제안된 프레임워크는 정련 정밀도와 후행 작업 성능 측면에서 어떻게 비교되는가?
• RQ5 불확실성 분해(예: 총 불확실성 대 지식 불확실성)는 불확실성 기반 응용 분야에서 정련의 효과성에 어떤 영향을 미치는가?

주요 결과

• 제안된 GPED 프레임워크는 75%의 OOD 탐지 설정에서 EnD 2 방법의 변형보다 뛰어난 성능을 보이며, 모든 테스트된 데이터셋과 모델 조합에서 높은 AUROC 점수를 확보했다.
• 불확실성 순위 매기기에서 GPED는 평가된 설정의 91%에서 EnD 2보다 높은 nDCG@20 점수를 기록하여 상대적 불확실성 순서의 보존 능력이 뛰어나다는 것을 시사한다.
• 정련 성능는 학생 모델의 용량에 매우 민감하며, 너무 얇거나 너무 깊은 학생 모델일 경우 성능이 크게 저하된다.
• 너비 배수 전략을 활용한 아키텍처 탐색은 속도-저장공간-정확도 트레이드오프 공간을 효과적으로 노출시키며, 성능-계산 균형을 달성한 학생 모델을 식별하는 데 성공했다.
• 프레임워크는 뛰어난 일반화 능력을 보이며, 정련된 엔트로피 통계량을 사용해 OOD 탐지 및 불확실성 순위 매기기 작업에서 최고 성능을 기록했다.
• 기대 엔트로피를 정련 대상으로 삼는 것은 효과적인 불확실성 분해를 가능하게 하여, 활성 학습 및 이상 탐지 등 응용 분야에서 정련된 모델의 실용성을 향상시킨다.