[논문 리뷰] How to Explain Individual Classification Decisions

David Baehrens, Timon Schroeter외 4명|ArXiv.org|2009. 12. 06.

Advanced Statistical Methods and Models참고 문헌 39인용 수 760

한 줄 요약

이 논문은 입력 특징에 대한 클래스 확률의 미분인 국소 설명 벡터를 계산하여, 어떤 블랙박스 분류기라도 개별 분류 결정을 설명할 수 있는 일반적인 프레임워크를 제안한다. 이 방법은 파르젠 창 밀도 추정을 사용하여 분류기를 근사하고 특징별 영향도 점수를 유도하며, 약물 발굴 및 숫자 인식과 같은 다양한 모델과 실제 응용 분야에서 효과를 입증한다.

ABSTRACT

After building a classifier with modern tools of machine learning we typically have a black box at hand that is able to predict well for unseen data. Thus, we get an answer to the question what is the most likely label of a given unseen data point. However, most methods will provide no answer why the model predicted the particular label for a single instance and what features were most influential for that particular instance. The only method that is currently able to provide such explanations are decision trees. This paper proposes a procedure which (based on a set of assumptions) allows to explain the decisions of any classification method.

연구 동기 및 목표

• 현대의 블랙박스 분류기에서 개별 예측 수준의 해석 가능성 부족 문제를 해결하기 위해, 특히 전역 특징 중요도가 국소 결정 역학을 포착하지 못하는 경우에 대비한다.
• 특정 데이터 포인트가 특정 분류 레이블을 받은 이유를 설명하는 방법을 개발하기 위해, 전역적으로 중요한 특징이 아닌, 특정 예측에 대한 이유를 설명한다.
• 결정 트리 이외의 비선형, 커널 기반 또는 복잡한 분류기(예: SVM 및 k-NN 포함)로도 해석 기능을 확장한다.
• 단일 예측에 대해 각 입력 특징의 기여도를 반영하는 국소적이고 특징 기반의 영향도 점수를 생성하는 실용적이고 모델에 종속되지 않는 방법을 제공한다.
• 약물 설계와 같은 실제 응용 시나리오에서 방법을 검증하여, 설명이 도메인 특화 화학 지식과 일치해야 한다는 요구사항을 충족시킨다.

제안 방법

• 기본 분류기의 조건부 확률 분포에서 유도된 베이즈 분류기의 조건부 확률에 대한 잘못된 분류의 확률에 대한 입력 특징에 대한 기울기로 설명 벡터를 정의한다.
• 비차별 가능한 원래 모델이라도 분류기의 결정 함수를 근사하기 위해 파르젠 창 밀도 추정을 사용하여 국소 기울기를 분석적으로 계산할 수 있도록 한다.
• 예측된 클래스와 반대 클래스의 훈련 포인트 기여도의 차이를 계산하여 테스트 포인트에서 국소 설명 벡터를 추정한다.
• 커널 스무딩(예: RBF 커널)을 사용하여 테스트 인스턴스 주변의 국소 밀도를 모델링하며, 대역폭 선택이 기울기 근사의 정밀도에 영향을 미친다.
• 예측된 클래스와 보완 클래스의 훈련 포인트에 대해 커널 거리로 가중된 합계를 포함하는 닫힌 형태의 표현식을 사용하여 설명 벡터를 유도한다.
• 파르젠 창의 최적 대역폭(σ)을 선택하기 위해 교차 검증을 적용하여 근사 정확도와 국소 민감도 사이의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 모델이 확률를 출력하지 않더라도, 어떤 블랙박스 분류기의 개별 예측에 대해 국소 기반 설명을 생성할 수 있는가?
• RQ2 로컬 기울기 기반 설명 벡터는 SVM 및 가우시안 프로세스 분류기와 같은 비선형 모델의 특징 상호작용과 결정 경계를 어떻게 반영하는가?
• RQ3 설명 벡터는 전역 특징 중요도 방법에서 가려지는 국소적 특성(특이성)을 어느 정도 잘 포착하는가?
• RQ4 이 방법은 약물 발굴에서와 같이 독성 포근(예: 질소를 포함한 아로마틱 화합물)과 같은 도메인 특화 지식과 일치하는 설명을 생성할 수 있는가?
• RQ5 파르젠 창 대역폭의 선택이 추정된 설명 벡터의 품질과 해석 가능성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 SVM 및 k-NN와 같은 복잡한 모델에 대해서도 단일 예측에 대한 개별 특징의 영향을 정확하게 반영하는 국소 설명 벡터를 성공적으로 생성한다.
• 파르젠 창 근사를 통한 설명 벡터는 실제 데이터와 시뮬레이션 데이터에서 기반 분류기의 비선형 결정 경계를 잘 따르는 것으로 확인되었다.
• USPS 숫자 데이터셋에서, 이 방법은 숫자 '2'의 중심 루프와 숫자 '8'의 하단 루프 부재가 주요 구분 특징임을 식별하였으며, 인간의 직관과 일치한다.
• Ames 돌연변이성 데이터셋에서 설명 벡터는 알려진 독성 포근(예: 질소를 포함한 아로마틱 화합물)이 분류에 주요 기여자로 나타나, 화학 도메인 지식과의 일치를 검증하였다.
• 파르젠 창 추정에서의 대역폭 선택은 설명 품질에 결정적인 영향을 미친다: 너무 작으면 클래스 내부에서 기울기가 0이 되고, 너무 크면 방향성 왜곡과 국소 영향의 잘못된 표현을 초래한다.
• 이 방법은 특정 예측에서 한 특징이 결정 경계 근처에서 지배적일 때 전역 특징 선택보다 국소적이고 예측에 따라 달라지는 특징 중요도를 더 잘 포착한다.