[논문 리뷰] Interpretability is Harder in the Multiclass Setting: Axiomatic Interpretability for Multiclass Additive Models.

Xuezhou Zhang, Sarah Tan외 4명|arXiv (Cornell University)|2018. 10. 22.

Explainable Artificial Intelligence (XAI)참고 문헌 28인용 수 3

한 줄 요약

이 논문은 해석 가능성 유지 기반의 후처리 캘리브레이션 기법인 API(Axiomatic Post-Processing Interpretability)를 사용한 다중분류를 위한 일반화된 가산 모델(GAM) 프레임워크를 제안한다. 부스팅 트리 기반 GAM 학습을 다중분류 설정으로 확장하고, 시각적 해석 가능성 보장을 위한 두 가지 축약 조건을 도입한다. API는 정확도 손실 없이 어떤 사전학습된 다중분류 가산 모델에도 이러한 축약 조건을 강제 적용하며, 12개 클래스의 신생아 사망률 데이터셋에서 검증되었다.

ABSTRACT

Generalized additive models (GAMs) are favored in many regression and binary classification problems because they are able to fit complex, nonlinear functions while still remaining interpretable. In the first part of this paper, we generalize a state-of-the-art GAM learning algorithm based on boosted trees to the multiclass setting, and show that this multiclass algorithm outperforms existing GAM fitting algorithms and sometimes matches the performance of full complex models. In the second part, we turn our attention to the interpretability of GAMs in the multiclass setting. Surprisingly, the natural interpretability of GAMs breaks down when there are more than two classes. Drawing inspiration from binary GAMs, we identify two axioms that any additive model must satisfy to not be visually misleading. We then develop a post-processing technique (API) that provably transforms pretrained additive models to satisfy the interpretability axioms without sacrificing accuracy. The technique works not just on models trained with our algorithm, but on any multiclass additive model. We demonstrate API on a 12-class infant-mortality dataset.

연구 동기 및 목표

• 최신의 부스팅 트리 기반 GAM 학습 기법을 다중분류 설정으로 확장하기 위해.
• 다중분류 가산 모델에서 시각적 오해를 방지하는 기본적인 해석 가능성 축약 조건을 규명하기 위해.
• 모든 사전학습된 다중분류 가산 모델에 대해 이러한 축약 조건을 강제 적용하는 후처리 기법(API)을 개발하기 위해.
• 다중분류 설정에서 정확도를 유지하면서도 해석 가능성을 확보하기 위해.
• 실세계의 12개 클래스 신생아 사망률 데이터셋에서 방법을 검증하기 위해.

제안 방법

• 최신의 부스팅 트리 알고리즘을 다중분류 설정으로 일반화하여 다중분류 GAM을 학습하기 위해.
• 다중분류 상황에서 가산 모델이 시각적으로 오해의 소지가 없도록 보장하기 위해, 국소 일관성과 전역 단조성이라는 두 가지 축약 조건을 정의한다.
• 모든 사전학습된 다중분류 가산 모델의 출력 로짓을 재매개변수화하여 이러한 축약 조건을 만족시키는 후처리 알고리즘(API)을 개발한다.
• API는 학습 알고리즘과 독립적으로 작동하므로, 어떤 다중분류 가산 모델에도 보편적으로 적용 가능하다.
• 특징 기여도가 모든 클래스에 걸쳐 시각적으로 일관되고 해석 가능한 방식으로 유지되도록 보장한다.
• 원래 예측 성능을 유지하면서도 모델 출력을 조정하기 위한 제약 조건이 있는 최적화 프레임워크를 활용한다.

실험 결과

연구 질문

• RQ1 일반화된 가산 모델을 다중분류 설정으로 효과적으로 확장하면서도 해석 가능성을 유지할 수 있는가?
• RQ2 다중분류 가산 모델이 시각적으로 오해의 소지가 없도록 하기 위해 필요한 축약 조건은 무엇인가?
• RQ3 정확도 저하 없이 해석 가능성 축약 조건을 강제 적용하는 후처리 기법을 설계할 수 있는가?
• RQ4 제안된 API 방법은 다양한 다중분류 가산 모델과 데이터셋에 대해 얼마나 일반화 가능한가?
• RQ5 API를 적용한 모델의 실증 성능은 실세계의 다중분류 벤치마크에서 어떻게 나타나는가?

주요 결과

• 제안된 다중분류 GAM 학습 알고리즘이 기존의 GAM 피팅 방법보다 뛰어나며, 일부 경우에서 복잡한 모델과 동등한 성능을 보였다.
• GAM의 자연스러운 해석 가능성은 다중분류 설정에서 클래스 간 특징 기여도 패턴의 일관성 부족으로 인해 붕괴된다.
• 제안된 두 가지 해석 가능성 축약 조건인 국소 일관성과 전역 단조성은 특징 효과의 오해의 소지가 있는 시각화를 방지한다.
• API 후처리 기법은 정확도 손실 없이 어떤 사전학습된 다중분류 가산 모델에도 이러한 축약 조건을 성공적으로 강제 적용한다.
• 12개 클래스의 신생아 사망률 데이터셋에서 API 변환된 모델은 모든 클래스에 걸쳐 시각적으로 일관되고 해석 가능한 특징 기여도를 보였다.
• 이 방법은 보편적으로 적용 가능하며, 다양한 학습 알고리즘과 모델 아키텍처에 걸쳐 다중분류 가산 모델 영역에서 효과적으로 작동한다.