[논문 리뷰] Transparent Model Distillation.

Sarah Tan, Rich Caruana외 2명|arXiv (Cornell University)|2018. 01. 26.

Explainable Artificial Intelligence (XAI)참고 문헌 17인용 수 16

한 줄 요약

이 논문은 다층 퍼셉트론(MLP) 교사 모델에서 해석 가능한 학생 모델—특히 일반화된 가산 모델(GA2Ms)과 기울기 부스팅 트리(GBTs)—로 지식을 전달하는 투명한 모델 디스틸레이션을 탐구하여 모델의 투명성을 향상시키는 것을 목적으로 한다. GA2Ms는 이진 분류 작업에서 잠재력을 보이며, GBTs는 회귀 작업에서 잠재력을 보이고 있어, GA2Ms가 전역 함수 근사에 대한 가산 분해 방법의 계산적으로 효율적인 대안이 될 수 있음을 시사한다.

ABSTRACT

Model distillation was originally designed to distill knowledge from a large, complex teacher model to a faster, simpler student model without significant loss in prediction accuracy. We investigate model distillation for another goal -- transparency -- investigating if fully-connected neural networks can be distilled into models that are transparent or interpretable in some sense. Our teacher models are multilayer perceptrons, and we try two types of student models: (1) tree-based generalized additive models (GA2Ms), a type of boosted, short tree (2) gradient boosted trees (GBTs). More transparent student models are forthcoming. Our results are not yet conclusive. GA2Ms show some promise for distilling binary classification teachers, but not yet regression. GBTs are not directly interpretable but may be promising for regression teachers. GA2M models may provide a computationally viable alternative to additive decomposition methods for global function approximation.

연구 동기 및 목표

• 복잡한 신경망에서 해석 가능한 모델로 지식을 전달함으로써 모델 디스틸레이션 기법이 모델의 투명성을 향상시킬 수 있는지 조사하는 것.
• 이진 분류 작업을 위한 해석 가능한 학생 모델로서 일반화된 가산 모델(GA2Ms)의 성능을 평가하는 것.
• GBTs를 회귀 작업을 위한 학생 모델로 사용하는 것이 가능한지 평가하는 것.
• GA2Ms가 전역 함수 근사에 대한 가산 분해 방법의 계산적으로 효율적인 대안이 될 수 있는지 확인하는 것.
• 디스틸레이션된 모델에서 예측 정확도와 해석 가능성 사이의 상호 상충 관계를 탐색하는 것.

제안 방법

• 지식 디스틸레이션을 통해 소프트 레이블과 중간 활성화를 전달함으로써 다층 퍼셉트론(MLP) 교사 모델에서 학생 모델로 디스틸레이션을 적용한다.
• GA2Ms를 학생 모델로 사용하여 부스팅과 짧은 트리를 조합함으로써 기능별로 해석 가능한 가산 모델을 생성한다.
• 기울기 부스팅 트리(GBTs)를 학생 모델로 활용하여 트리 앙상블을 이용해 복잡한 함수를 근사하지만, 본질적으로 해석 가능하지는 않다.
• 디스틸레이션 과정은 학생 모델이 교사의 출력 분포와 내부 표현을 모방하도록 훈련하는 것을 포함한다.
• GA2Ms의 경우, 교사의 예측에서 학습하면서도 가산 구조를 유지하는 데 초점을 맞춘다.
• 일반화 가능성 평가를 위해 이진 분류 및 회귀 작업을 모두 평가한다.

실험 결과

연구 질문

• RQ1 GA2Ms는 이진 분류 작업에서 MLP 교사 모델로부터 지식을 효과적으로 디스틸레이션할 수 있는가? 이는 높은 정확도와 해석 가능성 유지를 포함한다.
• RQ2 GBTs에 디스틸레이션을 적용하면 표준 훈련 대비 회귀 작업 성능이 향상되는가?
• RQ3 GA2Ms는 전역 함수 근사에 있어 가산 분해 방법의 계산적으로 효율적인 대안이 될 수 있는가?
• RQ4 디스틸레이션된 GA2Ms의 성능은 정확도와 투명성 측면에서 기준 가산 모델과 비교해 어떻게 되는가?
• RQ5 MLP에서 트리 기반 모델로의 디스틸레이션 과정에서 회귀 설정에서의 한계는 무엇인가?

주요 결과

• GA2Ms는 이진 분류 MLP 교사 모델로부터 지식을 디스틸레이션하는 데 있어 경쟁적인 성능과 높은 해석 가능성으로 잠재력을 보이고 있다.
• GA2Ms에 대한 디스틸레이션은 아직 회귀 작업에서 강력한 성능을 내지 못하여 이 구성에서의 한계를 시사한다.
• GBTs는 직접적으로 해석 가능하지 않지만, 회귀 작업에서 잠재력을 보이고 있어 디스틸레이션의 이점을 얻을 수 있음을 시사한다.
• 이 연구는 GA2Ms가 전역 함수 근사에 있어 가산 분해 방법의 계산적으로 실현 가능한 대안이 될 수 있음을 발견했다.
• 결과는 아직 확정적이지 않으며, 해석 가능한 모델을 위한 디스틸레이션 기법에 대한 추가 연구가 필요함을 시사한다.
• 특히 회귀 설정에서, 디스틸레이션된 모델과 기준 모델 간의 성능 격차는 여전히 두드러진 편이다.