[논문 리뷰] Explaining Deep Learning Models - A Bayesian Non-parametric Approach

Wenbo Guo, Sui Huang외 3명|arXiv (Cornell University)|2018. 11. 07.

Explainable Artificial Intelligence (XAI)참고 문헌 27인용 수 10

한 줄 요약

이 논문은 딥러닝 모델의 결정 경계를 근사함으로써 전역적이고 일반화 가능한 통찰을 추출하기 위해 다중 탄성 넷을 통합한 베이지안 비모수 혼합 모델(DMM-MEN)을 제안한다. 이 방법은 개별 예측을 설명하는 데서 SOTA 기법을 능가하며, 입력 특성에 대한 민감도를 식별하여 모델의 취약점을 드러낸다.

ABSTRACT

Understanding and interpreting how machine learning (ML) models make decisions have been a big challenge. While recent research has proposed various technical approaches to provide some clues as to how an ML model makes individual predictions, they cannot provide users with an ability to inspect a model as a complete entity. In this work, we propose a novel technical approach that augments a Bayesian non-parametric regression mixture model with multiple elastic nets. Using the enhanced mixture model, we can extract generalizable insights for a target model through a global approximation. To demonstrate the utility of our approach, we evaluate it on different ML models in the context of image recognition. The empirical results indicate that our proposed approach not only outperforms the state-of-the-art techniques in explaining individual decisions but also provides users with an ability to discover the vulnerabilities of the target ML models.

연구 동기 및 목표

• 딥러닝 모델의 전역적 설명 가능성 부족 문제를 해결하여 모델의 강점과 약점을 이해하는 데 기여하고자 한다.
• 다양한 데이터 분포에서 입력 특성에 대한 모델 민감도에 대한 일반화 가능한 통찰을 추출하는 방법을 개발하고자 한다.
• 모델 개발자가 사전에 취약점을 식별하고 복잡한 모델에 대한 신뢰를 제고할 수 있도록 하고자 한다.
• 기존 화이트박스 또는_BLK박스 방법보다 더 책임감 있고 이해하기 쉬운 설명을 제공하고자 한다.
• 개별 예측을 넘어서 모델의 전체 결정 경계를 근사함으로써 보다 포괄적인 분석을 가능하게 하고자 한다.

제안 방법

• 이 방법은 타겟 딥러닝 모델의 결정 경계를 근사하기 위해 베이지안 비모수 회귀 혼합 모델을 사용한다.
• 다양한 상관 구조를 가진 입력에서 패턴을 효과적으로 추출하기 위해 혼합 모델에 다중 탄성 넷을 통합한다.
• 모델은 타겟 모델의 행동을 전역적으로 근사하여 특정 입력 차원에 대한 모델의 일반 민감도 수준을 포착한다.
• 강력한 추정을 위해 모델 파라미터에 대한 사후 분포 추론을 위해 마르코프 체인 몬테카를로(MCMC) 샘플링을 사용한다.
• 이 방법은 타겟 모델을 블랙박스로 간주하므로, 아키텍처 수정 없이도 어떤 사전 학습된 모델에도 적용 가능하다.
• 특성 중요도는 학습된 혼합 구성 요소에서 유도되며, 예측에 가장 영향을 미치는 입력 특성들을 드러낸다.

실험 결과

연구 질문

• RQ1 딥러닝 모델의 결정 경계에 대한 전역적 근사가 입력 특성에 대한 민감도에 대한 일반화 가능한 통찰을 드러낼 수 있는가?
• RQ2 제안된 방법은 LIME 및 SHAP와 같은 최신 국소 설명 기법과 비교해 개별 예측을 설명하는 데 얼마나 우수한가?
• RQ3 이 방법은 중요한 입력 차원을 식별함으로써 모델의 취약점을 어느 정도 탐지할 수 있는가?
• RQ4 이 방법은 ImageNet과 같은 고차원 및 초고차원 데이터에서도 높은 성능을 유지하는가?
• RQ5 이 방법은 이미지 인식을 넘어서 다양한 학습 모델과 작업에 일반화될 수 있는가?

주요 결과

• MNIST에서 DMM-MEN는 99.89%의 정확도를 기록했으며, 99.74–100% 신뢰구간을 확보하여 LIME(100%)와 SHAP(99.95%)보다 정확도와 신뢰도 모두에서 뛰어난 성능을 보였다.
• Fashion-MNIST에서 DMM-MEN는 97.59%의 정확도(97.32–97.89% 신뢰구간)를 기록했으며, LIME(100%)와 SHAP(98.32%)보다 설명 품질에서 뚜렷한 우월성을 보였다.
• ImageNet에서 DMM-MEN는 69.36%의 정확도(47.88–90.18% 신뢰구간)를 기록했으며, 전역적 통찰 추출에서 LIME(85.6%)와 SHAP(66.05%)를 상당히 앞서는 성능을 보였다.
• 이 방법은 전반적인 모델 행동에 영향을 미치는 핵심 입력 특성을 드러내어 모델의 취약점을 식별하는 데 뛰어난 성능을 보였다.
• 이론적 지연 시간이 낮아 ImageNet에서 추론 시간이 139.2초로, 일반적인 딥러닝 학습 시간과 유사한 성능을 기록했다.
• 이 방법은 초고차원 데이터에서도 효과적이며, 이러한 입력에서의 개별 결정 설명에서 SOTA를 크게 능가하는 성능을 기록했다.