[논문 리뷰] A Model Explanation System: Latest Updates and Extensions

Ryan Turner|arXiv (Cornell University)|2016. 06. 30.

Imbalanced Data Classification Techniques참고 문헌 5인용 수 12

한 줄 요약

이 논문은 예측 정확도를 희생시키지 않고 블랙박스 분류기의 개별 예측에 대해 인스턴스별, 사후적 설명을 제공하는 일반적인 모델 설명 시스템(MES)을 소개한다. 이 시스템은 해석 가능한 부울 표현식에 기반한 점수 최적화를 통해 개별 예측을 담당하는 최소한의 특성 조건을 식별하며, 사기 탐지, 얼굴 인식, 신용 평가 등에서 높은 품질의 인간이 이해할 수 있는 설명을 제공함으로써 효과성을 입증한다.

ABSTRACT

We propose a general model explanation system (MES) for "explaining" the output of black box classifiers. This paper describes extensions to Turner (2015), which is referred to frequently in the text. We use the motivating example of a classifier trained to detect fraud in a credit card transaction history. The key aspect is that we provide explanations applicable to a single prediction, rather than provide an interpretable set of parameters. We focus on explaining positive predictions (alerts). However, the presented methodology is symmetrically applicable to negative predictions.

연구 동기 및 목표

• 고성능 블랙박스 모델의 개별 예측에 대해 인간이 이해할 수 있는 설명이 필요한 요구를 해결하기 위해, 특히 사기 탐지 및 신용 평가와 같은 고위험 분야에서의 적용을 목적으로 한다.
• 예측 정확도와 모델의 해석 가능성 사이의 갈등을 해결하기 위해, 원래 모델을 재학습하거나 단순화하지 않고도 설명을 제공하는 것을 목적으로 한다.
• 전체 모델 행동이 아닌 개별 예측을 설명하는 프레임워크를 개발하며, 인간의 사고 방식과 일치하는 최소한의 해석 가능한 특성 조건을 사용한다.
• 기존의 설명 방법을 비확률적이고 하드 레이블 블랙박스(예: 딥 러닝 및 SVM)에서도 작동하도록 확장한다.
• 컴퓨터 비전 및 표본 데이터 등 다양한 응용 분야에서 메서드의 일반성과 효과성을 입증한다.

제안 방법

• MES 프레임워크는 설명 E와 분류기 f 사이의 공분산을 측정하는 점수 함수 S(E)로 정의되며, 이는 입력 분포 전체에서 E가 분류기의 출력을 얼마나 잘 예측하는지를 측정한다.
• 설명 E는 최적화를 통해 선택된다: E* = argmax_E S(E) 이며, 조건 E(x) = 1을 만족시켜 특정 입력 x에 대해 정확하고 의미 있는 설명을 보장한다.
• 입력 분포 p(x)가 알려져 있거나 샘플링이 가능한 경우 몬테카를로 샘플링을 활용해 점수 S(E)를 추정하며, 이는 실세계 데이터에 적용 가능하게 한다.
• 축에 수직인 설명(예: 특성 임계값)과 더 복잡한 비축에 수직인 형태(예: 특성의 선형 조합)를 모두 지원하며, 효율성을 높이기 위해 이중 단계 알고리즘을 사용한다.
• 프레임워크는 대칭적이다: 분류기 레이블을 뒤집음으로써 양성(1) 및 부정(0) 예측을 모두 설명할 수 있다.
• 모델 파rameter나 기울기 접근이 불필요한, 쿼리 가능한 모든 블랙박스 모델(예: SVM, 딥 네트워크, 로지스틱 회귀)과 통합 가능하다.

실험 결과

연구 질문

• RQ1 모델 설명 시스템은 예측 성능을 훼손시키지 않고 블랙박스 분류기의 개별 예측에 대해 정확하고 인스턴스별 설명을 제공할 수 있는가?
• RQ2 비확률적이고 하드 레이블 모델(예: SVM 및 딥 네트워크)에 대해 설명을 어떻게 생성할 수 있는가?
• RQ3 설명과 분류기 출력 간의 공분산을 기반으로 한 점수 함수를 통해 설명 품질을 얼마나 최적화할 수 있는가?
• RQ4 프레임워크는 얼굴 인식이나 신용 평가와 같은 복잡한 모델에서 명백하지 않은 고영향도 특성들을 밝혀낼 수 있는가?
• RQ5 MES의 설명은 전역 해석 방법(예: L1 정규화 또는 특성 중요도)에 비해 局부 예측 행동을 얼마나 잘 포괄하는가?

주요 결과

• 얼굴 인식 예제에서 MES는 SVM 분류기가 얼굴 정체성 외에도 미세한 조명 패턴(예: 턱 왼쪽과 왼쪽 눈 아래의 그림자)에 크게 의존하고 있음을 밝혀냈다.
• 독일 신용 데이터셋의 경우 가장 흔한 설명은 '신용 이력'과 '체크 계좌 상태'에 기반했으며, 이는 테스트 예측의 99%를 설명했고, 최상위 설명의 점수는 0.491이었다.
• 단기 대출 기간(22개월 이하)에 대한 설명은 빈도는 낮았지만(1%), 중간 수준의 점수(0.244)를 기록하여, 이는 저위험 하위집단에서만 기여함을 시사한다.
• 신용 이력과 체크 계좌 상태 두 특성만을 고려할 경우, L1 정규화된 로지스틱 회귀 모델은 원본 모델과 22.4%의 테스트 포인트에서 일치하지 않았으며, 이는 전역 해석 방법이 국부적 예측을 왜곡할 수 있음을 보여준다.
• 확장된 MES 프레임워크는 이미지 기반의 비축에 수직인 설명(예: 선형 템플릿)을 성공적으로 생성하여 관련 얼굴 영역을 빌드업함으로써, 단순한 특성 임계값을 넘어서 해석 가능성을 향상시켰다.
• 점수 기반 최적화는 항상 S(E) ∈ [0,1] 범위의 설명을 선택했으며, 진짜 분류기 f는 S(f) = 1을 기록했고, null 설명 E₀는 S(E₀) = 0을 기록하여 점수의 이론적 타당성을 검증했다.