[논문 리뷰] Efficient Search for Diverse Coherent Explanations

Chris Russell|arXiv (Cornell University)|2019. 01. 02.

Explainable Artificial Intelligence (XAI)참고 문헌 22인용 수 7

한 줄 요약

이 논문은 혼합형 데이터 선형 분류기(예: 원-핫 인코딩된 특성을 가진 로지스틱 회귀)를 위한 일관되고 다양한 역성질 설명을 효율적으로 생성하기 위해 새로운 '혼합 다면체(constraint)'를 사용하는 정수형 혼합 프로그래밍 접근법을 제안한다. 이는 설명이 유효한 데이터 구조로 되돌아가도록 보장한다. 이 방법은 FICO와 같은 실제 금융 데이터셋에까지 스케일링되며, 브루트 포스 탐색에 비해 더 나은 성능을 보이며, 다양하고 안정적이며 실행 가능한 설명을 생성함으로써 모델의 행동을 드러내고 결정보도 투명성을 지원한다.

ABSTRACT

This paper proposes new search algorithms for counterfactual explanations based upon mixed integer programming. We are concerned with complex data in which variables may take any value from a contiguous range or an additional set of discrete states. We propose a novel set of constraints that we refer to as a "mixed polytope" and show how this can be used with an integer programming solver to efficiently find coherent counterfactual explanations i.e. solutions that are guaranteed to map back onto the underlying data structure, while avoiding the need for brute-force enumeration. We also look at the problem of diverse explanations and show how these can be generated within our framework.

연구 동기 및 목표

• 실제 기계학습에서 흔한 혼합형 데이터 환경에서 일관되고 스케일이 가능한 역성질 설명을 생성하기 위한 신뢰할 수 있는 방법의 부족을 해결하기 위해.
• 브루트 포스 탐색 없이도 역성질 설명이 유효한 데이터 구조(예: 원-핫 인코딩된 특성)로 되돌아가도록 보장하는 프레임워크를 개발하기 위해.
• 단일 결과에 과도하게 의존하는 것 방지하고, 다양하고 실행 가능한 역성질 설명을 생성하기 위한 구체적이고 스케일 수 있는 방법을 도입하기 위해.
• 고위험 결정 분야에서 책임감, 투명성, 사용자 이해를 지원하는 실용적이고 자동화된 설명 생성을 가능하게 하기 위해.

제안 방법

• 연속형 변수와 원-핫 인코딩된 변수를 포함한 혼합 정수형 데이터의 논리적 구조를 모델링하는 데 사용되는 '혼합 다면체' 제약 조건을 도입하여, 생성된 역성질 설명이 유효하고 일관됨을 보장한다.
• 혼합 정수형 프로그래밍(MIP) 솔버를 사용하여, 혼합 다면체 제약 조건을 충족하면서도 변형을 최소화하는 역성질 설명을 효율적으로 탐색한다.
• 이전에 발견된 해들을 점진적으로 배제하기 위한 추가 제약 조건을 도입함으로써, 반복적인 절차를 통해 다양성을 확보하는 그리디한 반복적 방법을 사용한다.
• 모델 결정에 더 큰 영향을 미치는 변수를 우선순위로 삼기 위해 가중치가 부여된 ℓ₁ 노름 정규화를 적용하여, 설명의 해석 가능성 향상과 중복 감소를 도모한다.
• 다양성 기준을 MIP 프레임워크에 통합하기 위해, 다수의 역성질 설명 간 동일한 변수 변경을 피하기 위해 제약 조건을 동적으로 조정한다.
• FICO 설명 가능성 데이터셋과 표준 벤치마크 문제에 대해 본 방법을 검증하여, 스케일링 능력과 일관성의 우수함을 입증한다.

실험 결과

연구 질문

• RQ1 혼합형 데이터 선형 모델에 대해 일관성(즉, 유효한 데이터 구조로 되돌아가는 것)과 효율성(즉, 브루트 포스 탐색을 피하는 것)을 동시에 확보할 수 있는 역성질 설명은 어떻게 생성할 수 있는가?
• RQ2 특징이 원-핫 또는 드머리 변수 인코딩 방식으로 표현될 경우, 역성질 설명이 유효성을 유지하기 위해 필요한 제약 조건는 무엇인가?
• RQ3 단일 결과에 과도하게 의존하지 않도록, 체계적으로 다양성을 확보한 역성질 설명을 어떻게 생성할 수 있는가?
• RQ4 다양한 역성질 설명은 신용 평가와 같은 고위험 결정 상황에서 사용자 이해도와 실행 가능성에 얼마나 기여하는가?
• RQ5 완전 자동화된 MIP 기반 방법이 스케일링 능력과 설명 품질 측면에서 브루트 포스나 히우리스틱 방법을 능가할 수 있는가?

주요 결과

• 제안된 혼합 다면체 제약 조건은 원-핫 인코딩된 특징이 있는 경우에도 모든 생성된 역성질 설명이 일관되고 유효한 데이터 구조로 되돌아가도록 성공적으로 보장한다.
• MIP 기반 접근법은 FICO와 같은 실제 데이터셋에 대해 효과적으로 스케일링되며, 혼합형 데이터 문제에서 브루트 포스 탐색의 비가능성을 피한다.
• 반복적이고 제약 기반의 방법으로 생성된 다양한 역성질 설명은 단일의 납부 유예가 반드시 복구 불가능한 것은 아니며, 다른 영역에서의 강력한 성과가 상쇄할 수 있음을 드러낸다.
• 유사한 입력에 대해서도 안정적이고 일관된 설명을 생성하여 장기적인 사용자 신뢰와 투명성 지원에 기여한다.
• 가중치가 부여된 ℓ₁ 노름 정규화는 단순한 흐문성 제약 조건에 비해 더 정보가 풍부하고 중복이 적은 설명을 도출한다.
• 본 방법은 외부 위험 요소의 음수 값(-9 등)이 비록 원시 가중치 시각화에서는 직관적으로 어색해 보이지만, 실제로는 중요한 역성질 설명이 될 수 있음을 드러낸다.