[논문 리뷰] Interpreting Black Box Models with Statistical Guarantees.

Collin Burns, Jesse Thomason외 1명|arXiv (Cornell University)|2019. 03. 29.

Explainable Artificial Intelligence (XAI)참고 문헌 28인용 수 7

한 줄 요약

이 논문은 유한 표본에서의 오류 비율을 제어하기 위해 블랙박스 모델의 해석 가능성 문제를 다중 가설 검정 문제로 재구성하며, 모델 예측을 대체가치에 대해 검정함으로써 중요한 특징을 식별하는 방법을 제안한다. 이는 증명 가능하게 FDR를 제어하는 방법과 근사 버전을 제안하며, 시각 및 언어 모델에서 높은 검정력과 직관적이고 해석 가능한 설명을 보여준다.

ABSTRACT

In science and medicine, model interpretations may be reported as discoveries of natural phenomena or used to guide patient treatments. In such high-stakes tasks, false discoveries may lead investigators astray. These applications would therefore benefit from control over the finite-sample error rate of interpretations. We reframe black box model interpretability as a multiple hypothesis testing problem. The task is to discover important features by testing whether the model prediction is significantly different from what would be expected if the features were replaced with uninformative counterfactuals. We propose two testing methods: one that provably controls the false discovery rate but which is not yet feasible for large-scale applications, and an approximate testing method which can be applied to real-world data sets. In simulation, both tests have high power relative to existing interpretability methods. When applied to state-of-the-art vision and language models, the framework selects features that intuitively explain model predictions. The resulting explanations have the additional advantage that they are themselves easy to interpret.

연구 동기 및 목표

• 고위험 과학적 및 의료 적용 분야에서 모델의 해석 가능성에 따른 잘못된 발견의 위험을 해결하기 위해.
• 특징 기여도에서 유한 표본 오류 비율을 제어하여 해석의 신뢰성을 확보하기 위해.
• 해석 가능성 문제를 다중 가설 검정 문제로 재구성하여 통계적 보장을 가능하게 하기 위해.
• 특징 제거 시 모델 예측이 크게 변화시키는 특징을 식별하는 방법을 개발하기 위해.

제안 방법

• 각 특징이 모델 예측에 영향을 미치는 데 있어 유의미한지 검정하는 다중 가설 검정 문제로 특징 중요도를 재구성하기.
• 특징을 정보 없는 값으로 대체하여 대체가치를 정의함으로써 그 영향을 평가하기.
• 퍼미터이션 또는 재표본 전략에서 유도된 p-값에 기반한 증명 가능하게 FDR를 제어하는 검정 절차를 제안하기.
• p-값의 효율적 추정을 통해 대규모 데이터셋에 스케일링 가능한 근사 검정 방법을 개발하기.
• 검정 프레임워크를 사용하여, 변형 시 모델 출력에 심각한 변화를 일으키는 특징을 식별하기.
• 결과적으로 도출된 설명이 설계상 통계적으로 신뢰할 수 있고 인간이 이해할 수 있도록 보장하기.

실험 결과

연구 질문

• RQ1 유한 표본에서 블랙박스 모델의 특징 기여도에 대해 가짜 발견률을 제어할 수 있는가?
• RQ2 거짓 양성 결과를 최소화하면서도 실제로 영향력 있는 특징을 어떻게 식별할 수 있는가?
• RQ3 실제 시각 및 언어 모델에 적용되는 해석 방법을 확장하면서도 통계적 엄밀함을 유지할 수 있는가?
• RQ4 제안된 방법들이 통계적으로 타당하고 직관적으로 의미 있는 설명을 생성하는가?

주요 결과

• 제안된 프레임워크는 특징 기여도에서 가짜 발견률을 제어하여 고위험 응용 분야에서 잘못된 발견의 위험을 감소시킨다.
• 증명 가능하게 FDR를 제어하는 방법은 기존의 해석 가능성 방법과 비교해 시뮬레이션에서 높은 통계적 검정력을 보였다.
• 근사 검정 방법은 정확한 계산이 불가능한 실세계의 시각 및 언어 모델에 적용 가능하게 한다.
• 최신 모델에 적용했을 때, 이 방법은 관련 이미지 패치나 언어 토큰과 같이 직관적으로 예측을 설명하는 특징을 식별한다.
• 결과적으로 도출된 설명은 정확할 뿐 아니라 명확한 통계적 검정에서 유도되기 때문에 본질적으로 해석 가능하다.
• 모의 실험에서 기존 방법보다 높은 검정력을 보이며 강력한 통계적 보장을 유지한다.