[논문 리뷰] Counterfactual Explanations for Machine Learning: A Review.

Sahil Verma, John P. Dickerson외 1명|arXiv (Cornell University)|2020. 10. 20.

Explainable Artificial Intelligence (XAI)참고 문헌 80인용 수 222

한 줄 요약

이 논문은 기계학습에서의 반사적 설명을 검토하고 분류하며, 충실도, 다양성, 실현 가능성과 같은 핵심 성질을 기반으로 알고리즘을 평가하기 위한 체계를 제안한다. 기존 방법에 대한 종합적인 비교를 제공하고 연구 격차를 밝혀내며, 금융 및 헬스케어와 같은 고위험 분야의 신뢰할 수 있는 AI 시스템을 위한 유망한 미래 연구 방향을 제시한다.

ABSTRACT

Machine learning plays a role in many deployed decision systems, often in ways that are difficult or impossible to understand by human stakeholders. Explaining, in a human-understandable way, the relationship between the input and output of machine learning models is essential to the development of trustworthy machine-learning-based systems. A burgeoning body of research seeks to define the goals and methods of explainability in machine learning. In this paper, we seek to review and categorize research on counterfactual explanations, a specific class of explanation that provides a link between what could have happened had input to a model been changed in a particular way. Modern approaches to counterfactual explainability in machine learning draw connections to the established legal doctrine in many countries, making them appealing to fielded systems in high-impact areas such as finance and healthcare. Thus, we design a rubric with desirable properties of counterfactual explanation algorithms and comprehensively evaluate all currently-proposed algorithms against that rubric. Our rubric provides easy comparison and comprehension of the advantages and disadvantages of different approaches and serves as an introduction to major research themes in this field. We also identify gaps and discuss promising research directions in the space of counterfactual explainability.

연구 동기 및 목표

• 금융 및 헬스케어와 같은 고영향도 분야에서 인간 이해관계자들이 기계학습 결정을 해석할 수 있도록 하는 도전 과제를 해결하기 위해.
• 충실도, 다양성, 실현 가능성과 같은 효과적인 반사적 설명의 핵심 성질을 정의하고 평가하기 위해.
• 다양한 차원에서 기존 반사적 설명 알고리즘을 비교하기 위한 체계적인 체계를 제공하기 위해.
• 현재 연구의 격차를 밝히고 반사적 설명 가능성을 향한 유망한 미래 연구 방향을 제안하기 위해.
• 기계학습 설명 가능성과 결정의 원인관계 및 책임에 관한 기존 법적 이론 간 격차를 메우기 위해.

제안 방법

• 저자들은 충실도, 다양성, 근접성, 실현 가능성과 같은 반사적 설명 알고리즘에 바람직한 성질을 포함하는 종합적인 체계를 설계하였다.
• 이 체계에 따라 현재 제안된 모든 반사적 설명 방법을 체계적으로 평가하여 직접 비교할 수 있도록 하였다.
• 평가 프레임워크는 모델 예측을 변화시키는 인간이 이해할 수 있는 입력 변경을 강조하며, 인과적 추론 원칙과 일치시켰다.
• 논문은 반사적 설명과 원인관계에 관한 법적 이론 간의 연결 고리를 설정하여, 규제 분야에서의 수용성을 높였다.
• 기울기 기반 또는 검색 기반 접근 방식과 같은 기초 최적화 기법에 따라 기존 방법을 분류하였다.
• 체계는 연구 주제를 맵핑하고, 상호 간의 상충 관계를 드러내며, 향후 알고리즘 개발을 안내하는 데 사용되었다.

실험 결과

연구 질문

• RQ1 기계학습에서 고품질의 반사적 설명을 정의하는 데 핵심이 되는 성질은 무엇인가?
• RQ2 기존의 반사적 설명 알고리즘은 충실도, 다양성, 실현 가능성 측면에서 어떻게 비교되는가?
• RQ3 반사적 설명을 생성하는 데 있어 현재 접근 방식의 한계와 상충 관계는 무엇인가?
• RQ4 반사적 설명은 의사결정의 원인관계에 관한 법적 및 윤리적 원칙과 어떻게 일치시킬 수 있는가?
• RQ5 실제 응용 분야에서 반사적 설명 가능성을 향상시키기 위한 가장 유망한 연구 방향은 무엇인가?

주요 결과

• 제안된 체계는 다양한 바람직한 성질을 평가하여 반사적 설명 알고리즘 간의 체계적 비교를 가능하게 한다.
• 많은 기존 방법들이 충실도나 근접성을 우선시하지만, 실질적인 구현에서 다양성과 실현 가능성은 종종 간과된다.
• 표준화된 평가 프로토콜의 부족으로 인해 연구 간 일관성 없는 벤치마킹이 발생하고 있다.
• 원인관계에 관한 법적 이론과 일치하는 반사적 설명은 금융 및 헬스케어와 같은 규제 분야에서 더 높은 수용성을 확보할 가능성이 높다.
• 반사적 설명 품질, 계산 효율성, 모델 독립성 간 최적의 균형에 대해 아직 합의된 바가 없다.
• 향후 연구는 높은 충실도와 인간 해석 가능성 유지와 함께 실현 가능성과 다양성 향상을 중심으로 해야 한다.