[논문 리뷰] ViCE: Visual Counterfactual Explanations for Machine Learning Models

Óscar Gómez, Steffen Holter외 2명|arXiv (Cornell University)|2020. 03. 05.

Explainable Artificial Intelligence (XAI)참고 문헌 21인용 수 15

한 줄 요약

ViCE는 테이블 기반 기계학습 모델에 대한 반대가치 설명을 생성하는 인터랙티브 시각적 분석 도구로, 모델 예측을 뒤바꾸는 데 필요한 최소한의 특성 변경 사항을 식별합니다. 사용자가 직관적인 인터페이스를 통해 실행 가능한 통찰을 탐색할 수 있도록 하며, 개인화되고 제약 인식형 설명을 제공하는 홈 에쿼티 크레딧 데이터셋에서의 효과를 입증합니다.

ABSTRACT

The continued improvements in the predictive accuracy of machine learning models have allowed for their widespread practical application. Yet, many decisions made with seemingly accurate models still require verification by domain experts. In addition, end-users of a model also want to understand the reasons behind specific decisions. Thus, the need for interpretability is increasingly paramount. In this paper we present an interactive visual analytics tool, ViCE, that generates counterfactual explanations to contextualize and evaluate model decisions. Each sample is assessed to identify the minimal set of changes needed to flip the model's output. These explanations aim to provide end-users with personalized actionable insights with which to understand, and possibly contest or improve, automated decisions. The results are effectively displayed in a visual interface where counterfactual explanations are highlighted and interactive methods are provided for users to explore the data and model. The functionality of the tool is demonstrated by its application to a home equity line of credit dataset.

연구 동기 및 목표

• 금융 및 헬스케어와 같은 분야에서 고위험 기계학습 결정의 해석 가능성에 대한 증가하는 수요를 충족시키기 위해.
• 반대가치 추론을 통해 최종 사용자에게 실행 가능한, 개인화된 모델 예측 통찰을 제공하기 위해.
• 비이진 테이블 데이터를 위한 반대가치 설명을 효과적으로 표시하는 시각적 분석 인터페이스를 개발하기 위해.
• 사용자가 제약 조건(예: 시간에 민감한 특성)을 탐색하고 현실 세계의 제약 조건 하에서 모델 행동을 이해할 수 있도록 하기 위해.
• 일반적인 데이터 분포 내에서 개별 예측를 맥락화하여, 모델 검증 및 편향 탐지 지원하기 위해.

제안 방법

• 도구는 모델에 종속되지 않는 알고리즘을 사용하여, 테이블 기반 수치형 데이터에 대한 반대가치를 계산하며, 모델 출력을 뒤바꾸는 데 필요한 최소한의 특성 변동에 중점을 둡니다.
• 반대가치를 표시하기 위해 상호작용 가능한 시각화 기법을 통합하여, 긍정적, 부정적, 일반 샘플 간의 특성 분포 비교를 가능하게 합니다.
• 사용자가 제약 조건(예: 시간 기반 특성 잠금)을 적용하여 현실 세계의 제약 조건 하에서 가능한 변경 사항을 탐색할 수 있습니다.
• 사용자가 정의한 제약 조건이 적용될 경우, 반대가치를 동적으로 재계산하여 예측 뒤집기가 여전히 가능한지 확인할 수 있도록 합니다.
• 다양한 샘플 그룹 간의 빈도 밀도 분포를 사용하여 특성 중요도 및 단조성 경향을 시각화합니다.
• 시스템은 모듈러하고 블랙박스 도구로 구축되어 모델 내부와 분리되어 있어, 어떤 훈련된 모델과도 즉시 통합이 가능합니다.

실험 결과

연구 질문

• RQ1 비이진 테이블 기반 기계학습 모델에 대해 반대가치 설명을 효과적으로 시각화하는 방법은 무엇인가요?
• RQ2 주어진 인스턴스에 대해 모델의 예측을 뒤바꾸는 데 필요한 최소한의 특성 변경 조합은 무엇인가요?
• RQ3 사용자가 상호작용적으로 특성 변경을 제약할 수 있는 방법(예: 시간 기반 특성)은 무엇이며, 이를 통해 예측 변경의 실현 가능성은 어떻게 평가할 수 있나요?
• RQ4 시각적 분석을 통해 반대가치를 일반 데이터 분포와 비교함으로써 사용자가 편향이나 모델 결함을 식별할 수 있나요?
• RQ5 사용자가 정의한 제약 조건은 반대가치 설명의 실현 가능성과 특성에 어떤 영향을 미치나요?

주요 결과

• 도구는 예측을 뒤바꾸는 데 필요한 실행 가능한 최소한의 특성 값 변경을 성공적으로 식별하였으며, 예를 들어 만족하는 거래 수를 늘리고 연체 기간을 줄이는 것이 포함됩니다.
• ‘최근 연체 이후 경과한 개월 수’와 같은 시간 기반 특성을 잠금 처리한 경우, 알고리즘이 더 이상 실현 가능한 반대가치를 생성하지 못했으며, 이는 모델이 이러한 특성에 크게 의존하고 있음을 시사합니다.
• ‘파일에 있는 평균 개월 수’와 같은 추가 시간 기반 특성을 잠금 처리함으로써, 모델이 의사결정 과정에서 시간 변수에 강한 가중치를 두고 있음을 확인할 수 있었습니다.
• ‘외부 리스크 평가’ 제약 조건을 해제한 결과, 이 특성이 매우 영향력 있는 특성임을 확인하였으며, 이 특성의 큰 변화가 예측 뒤집기에 가장 효과적인 경로임을 입증하였습니다.
• 시각화 기법은 긍정적, 부정적, 일반 샘플 간의 특성 분포 비교를 가능하게 하여 편향 탐지에 효과적으로 기여하였습니다.
• 시스템은 실제 적용 가능성을 입증하였으며, 예를 들어 대출 신청자가 자신의 신용 신청을 어떻게 향상시킬 수 있는지 이해하는 데 도움을 줄 수 있음을 보여주었습니다.