[논문 리뷰] Interpretable and Interactive Summaries of Actionable Recourses.

Kaivalya Rawal, Himabindu Lakkaraju|arXiv (Cornell University)|2020. 09. 15.

Explainable Artificial Intelligence (XAI)참고 문헌 20인용 수 4

한 줄 요약

이 논문은 행동 가능한 후속 조치 개요(AReS)를 제안하며, 전체 인구 집단에 대해 전역적이고 해석 가능하며 상호작용 가능한 역행성 설명을 생성하는 모델에 종속되지 않는 프레임워크이다. AReS는 조치의 정확성, 해석 가능성, 전체 비용의 최소화를 최적화하여, 하위집단 전반에 걸쳐 행동 가능한 비차별적 조치를 드러내는 컴팩트한 규칙 집합을 생성하며, 이는 이론적 보장과 실제 데이터셋에서의 실증적 검증을 통해 입증된다.

ABSTRACT

As predictive models are increasingly being deployed in high-stakes decision-making, there has been a lot of interest in developing algorithms which can provide recourses to affected individuals. While developing such tools is important, it is even more critical to analyse and interpret a predictive model, and vet it thoroughly to ensure that the recourses it offers are meaningful and non-discriminatory before it is deployed in the real world. To this end, we propose a novel model agnostic framework called Actionable Recourse Summaries (AReS) to construct global counterfactual explanations which provide an interpretable and accurate summary of recourses for the entire population. We formulate a novel objective which simultaneously optimizes for correctness of the recourses and interpretability of the explanations, while minimizing overall recourse costs across the entire population. More specifically, our objective enables us to learn, with optimality guarantees on recourse correctness, a small number of compact rule sets each of which capture recourses for well defined subpopulations within the data. Our framework is also interactive i.e., it allows users to input specific features of interest which will in turn be used to characterize subpopulations when generating recourse summaries. We also demonstrate theoretically that several of the prior approaches proposed to generate recourses for individuals are special cases of our framework. Experimental evaluation with real world datasets and user studies demonstrate that our framework can provide decision makers with a comprehensive overview of recourses corresponding to any black box model, and consequently help detect undesirable model biases and discrimination.

연구 동기 및 목표

• 실제 적용 이전에 예측 모델의 해석 가능성과 공정성 검토가 필수적인 고위험 의사결정 분야에서의 필요성을 해결하기 위해.
• 개별 인스턴스가 아니라 전체 인구 집단에 대해 행동 가능한 조치를 요약하는 전역적이고 모델에 종속되지 않는 프레임워크를 개발하기 위해.
• 전체 집단에서 조치의 정확성, 설명의 해석 가능성, 전체 조치 비용의 최소화를 동시에 최적화하기 위해.
• 조직화된 조치 개요 생성 중 하위집단 특성 정의를 위한 사용자 상호작용을 통해 기능별 하위집단 특성화를 가능하게 하기 위해.
• 포괄적이고 인간이 읽을 수 있는 조치 개요를 통해 모델의 편향과 차별적 패턴을 탐지하고 폭 드러내기 위해.

제안 방법

• 전체 집단에서 조치의 정확성, 규칙 집합의 해석 가능성, 총 조치 비용을 균형 잡는 새로운 최적화 목표를 수립한다.
• 전역적이고 규칙 기반의 표현 방식을 사용하여 명확하게 정의된 하위집단에 대해 컴팩트하고 인간이 읽을 수 있는 역행성 설명을 생성한다.
• 각 규칙 집합이 유효하고 행동 가능한 조치를 제공하며 최적성 보장을 갖도록 제약 기반 학습 접근법을 적용한다.
• 사용자가 지정한 기능을 통합하여 타깃 조건의 하위집단을 동적으로 정의하고, 이를 바탕으로 조건부 조치 요약을 수행한다.
• 모델에 종속되지 않아 어떤 훈련된 분류기에도 적용 가능한 블랙박스 모델 호환성을 확보한다.
• 제안된 프레임워크 하에서 기존의 개별 수준의 조치 방법들이 특수한 경우로 통합됨을 이론적으로 입증한다.

실험 결과

연구 질문

• RQ1 전체 집단에 대해 조건의 정확성과 비용 최소화를 유지하면서도 전역적이고 해석 가능한 조치 요약을 생성할 수 있는가?
• RQ2 다양한 하위집단에서 조치 생성의 해석 가능성과 공정성을 동시에 최적화할 수 있는가?
• RQ3 사용자가 정의한 기능이 조치 요약의 관련성과 정밀도를 얼마나 향상시킬 수 있는가?
• RQ4 제안된 규칙 집합은 개별 수준의 조치 방법에 비해 전체 집단의 패턴을 얼마나 잘 포괄하는가?
• RQ5 프레임워크는 요약 수준 분석을 통해 숨겨진 모델 편향과 차별적 패턴을 탐지하고 폭 드러낼 수 있는가?

주요 결과

• AReS 프레임워크는 이론적 최적성 보장을 바탕으로 전체 집단에 대해 전역적이고 해석 가능하며 정확한 조치 요약을 성공적으로 생성한다.
• 이 방법은 명확하게 정의된 하위집단에 대해 행동 가능한 조치를 포괄하는 컴팩트한 규칙 집합을 생성하여 투명성과 감사 가능성을 향상시킨다.
• 사용자 상호작용을 통한 기능 입력은 타깃 하위집단 분석을 가능하게 하여 요약의 관련성과 맥락적 정밀도를 향상시킨다.
• 실제 데이터셋에서의 실험 평가를 통해 AReS가 개인적 조치에서는 드러나지 않는 모델 편향과 차별적 패턴을 효과적으로 드러내는 것으로 확인되었다.
• 사용자 연구를 통해 의사결정자가 모델 행동에 대한 종합적이고 실행 가능한 개요를 확보함으로써 신뢰와 책임성을 제고할 수 있었다.
• 기존의 여러 개별 수준의 조치 방법이 제안된 프레임워크의 특수한 경우로 엄밀히 증명되었으며, 이는 이론적 통합을 확립한다.