[논문 리뷰] DECE: Decision Explorer with Counterfactual Explanations for Machine Learning Models

Furui Cheng, Yao Ming외 1명|arXiv (Cornell University)|2020. 08. 19.

Explainable Artificial Intelligence (XAI)참고 문헌 39인용 수 11

한 줄 요약

DECE는 테이블 형 데이터에서 기계 학습 모델의 결정을 탐색하고 이해하는 데 도움이 되는 대체적 설명을 활용하는 상호작용형 시각화 시스템이다. 사용자가 맞춤형이고 실행 가능한 대체적 설명을 통해 개별 예측 및 하위군 수준에서 모델 동작을 분석할 수 있도록 하여 모델 개발자와 최종 사용자가 편향을 진단하고 정보 기반 결정보다 효과적으로 결정을 내리는 데 기여한다.

ABSTRACT

With machine learning models being increasingly applied to various decision-making scenarios, people have spent growing efforts to make machine learning models more transparent and explainable. Among various explanation techniques, counterfactual explanations have the advantages of being human-friendly and actionable -- a counterfactual explanation tells the user how to gain the desired prediction with minimal changes to the input. Besides, counterfactual explanations can also serve as efficient probes to the models' decisions. In this work, we exploit the potential of counterfactual explanations to understand and explore the behavior of machine learning models. We design DECE, an interactive visualization system that helps understand and explore a model's decisions on individual instances and data subsets, supporting users ranging from decision-subjects to model developers. DECE supports exploratory analysis of model decisions by combining the strengths of counterfactual explanations at instance- and subgroup-levels. We also introduce a set of interactions that enable users to customize the generation of counterfactual explanations to find more actionable ones that can suit their needs. Through three use cases and an expert interview, we demonstrate the effectiveness of DECE in supporting decision exploration tasks and instance explanations.

연구 동기 및 목표

• 대출 승인 및 의료 진단과 같은 고위험 결정에 사용되는 기계 학습 모델의 투명성과 해석 가능성 부족 문제를 해결하기 위해.
• 사용자 友好的하고 실행 가능한 대체적 설명을 통해 모델 개발자와 최종 사용자가 모델 예측을 이해하고, 진단하고, 조치를 취할 수 있도록 지원하기 위해.
• 개별 예측 수준과 하위군 수준의 대체적 분석을 결합하고 사용자 정의 제약 조건을 적용하여 모델 결정 경계를 상호작용적으로 탐색할 수 있도록 하기 위해.
• 대체적 예시를 기반으로 한 반복적 하위군 개선을 통해 단순하고 효과적인 결정 규칙을 발견할 수 있도록 하기 위해.
• 사용자 피드백 통합과 실제 적용 가능성 제약 조건 지원을 통해 대체적 설명의 실용적 사용성을 향상시키기 위해.

제안 방법

• DECE는 하위군 생성 및 시각화를 위한 테이블 인터페이스를 통합하여 사용자가 요약된 대체적 예시를 포함한 하위군을 필터링하고 정렬하며 탐색할 수 있도록 한다.
• 개별 예측에 대한 다양한 대체적 예시를 비교하고 시각화하기 위해 인스턴스 렌즈에서 개선된 평행 좌표 시각화를 사용한다.
• 사용자가 기능 값 변화에 제약 조건을 상호작용적으로 적용함으로써 실현 가능하고 실행 가능한 대체적 예시를 생성할 수 있도록 한다 (예: 신용 점수 변화 제한).
• 사용자가 주요 기능을 선택하고 하위군을 좁혀 모델 행동의 패턴을 식별할 수 있도록 하위군 반복 개선을 지원한다.
• 모델 예측 기반으로 대체적 예시를 생성하여 정확성을 확보하고 근사치를 방지하며, 효율성을 높이기 위해 최적화 기법을 적용한다.
• 사용자가 목표 클래스를 선택하거나 히우리스틱(예: 두 번째로 확률이 높은 클래스)을 사용함으로써 이진 및 다중 분류 모두를 지원한다.

실험 결과

연구 질문

• RQ1 대체적 설명은 어떻게 개별 예측 수준과 하위군 수준에서 모델 결정을 효과적으로 탐색하고 이해하는 데 활용될 수 있는가?
• RQ2 기능 제약 조건을 맞춤화함으로써 사용자가 더 실행 가능하고 실현 가능한 대체적 설명을 생성하는 데 도움이 되는 상호작용 기법은 무엇인가?
• RQ3 r-대체적 예시는 의미 있는 결정 규칙과 모델 편향을 식별하는 탐색적 분석에서 어느 정도 지원할 수 있는가?
• RQ4 사용자 제약 조건과 피드백은 실제 의사결정 환경에서 대체적 설명의 해석 가능성과 사용성에 어떻게 영향을 미치는가?
• RQ5 다양한 특성 유형을 가진 다양한 테이블 형 데이터셋에서 대체적 예시 생성의 확장성과 성능 특성은 어떠한가?

주요 결과

• DECE는 하위군 수준의 대체적 예시와 상호작용적 제약 조건 설정을 결합하여 모델 결정 경계를 효과적으로 탐색할 수 있도록 하여 사용자가 모델 행동의 패턴을 식별할 수 있도록 한다.
• 시스템은 효율적인 대체적 예시 생성을 지원하며, 2.5GHz Intel Core i5 CPU를 사용할 때 HELOC 데이터셋에서 단일 예시 생성에 약 16초가 소요된다.
• 사용자들은 제약 조건을 맞춤화할 수 있는 기능이 대체적 예시의 실행 가능성에 크게 기여했다고 보고했으며, 특히 헬스케어 및 금융과 같은 민감한 분야에서 그러한 기능이 중요하다고 강조했다.
• 전문가 피드백은 임상적 특성에 대한 적용 불가능한 값과 기준 범위 지원의 중요성을 지적하여 시스템 설계 개선에 기여했다.
• 시스템은 최대 10,459개의 인스턴스를 가진 데이터셋까지 확장 가능성을 입증했지만, 많은 수의 범주형 특성을 가진 데이터셋에서는 수렴 속도가 느렸다.
• 사용자 피드백에 따르면 하위군 순도와 기능 분포를 시각화함으로써 모델 편향을 탐지하고 의미 있는 결정 규칙을 도출하는 능력이 향상되었다.