[논문 리뷰] One Explanation Does Not Fit All: The Promise of Interactive Explanations for Machine Learning Transparency

Kacper Sokol, Peter Flach|Explore Bristol Research|2020. 01. 27.

Explainable Artificial Intelligence (XAI)참고 문헌 38인용 수 33

한 줄 요약

본 논문은 ML에서 진정으로 인터랙티브하고 개인화된 설명의 필요성을 주장하고, 대출 모델용 Glass-Box를 클래스-대비 반사실 설명기로 제시하며, 인터랙티브 XAI 시스템의 바람직한 점, 위험 및 평가 접근법을 논의한다.

ABSTRACT

The need for transparency of predictive systems based on Machine Learning algorithms arises as a consequence of their ever-increasing proliferation in the industry. Whenever black-box algorithmic predictions influence human affairs, the inner workings of these algorithms should be scrutinised and their decisions explained to the relevant stakeholders, including the system engineers, the system's operators and the individuals whose case is being decided. While a variety of interpretability and explainability methods is available, none of them is a panacea that can satisfy all diverse expectations and competing objectives that might be required by the parties involved. We address this challenge in this paper by discussing the promises of Interactive Machine Learning for improved transparency of black-box systems using the example of contrastive explanations -- a state-of-the-art approach to Interpretable Machine Learning. Specifically, we show how to personalise counterfactual explanations by interactively adjusting their conditional statements and extract additional explanations by asking follow-up "What if?" questions. Our experience in building, deploying and presenting this type of system allowed us to list desired properties as well as potential limitations, which can be used to guide the development of interactive explainers. While customising the medium of interaction, i.e., the user interface comprising of various communication channels, may give an impression of personalisation, we argue that adjusting the explanation itself and its content is more important. To this end, properties such as breadth, scope, context, purpose and target of the explanation have to be considered, in addition to explicitly informing the explainee about its limitations and caveats...

연구 동기 및 목표

• 산업에서 투명한 ML 시스템의 필요성을 동기부여하고 만능 설명의 한계를 제시한다.
• 대체적 사례(counterfactuals)를 활용한 인터랙티브하고 개인화된 설명 아키텍처를 제안한다.
• 대출 승인 모델을 사용하여 인터랙티브 설명자(Glass-Box)를 시연하고 평가한다.
• 인터랙티브 설명자의 desiderata(요구사항), 도전과제 및 안전 고려사항을 식별한다.
• 인터랙티브 XAI 도구 개발을 위한 가이드라인과 향후 연구 방향을 제시한다.

제안 방법

• 인터랙티브 설명과 대조적 반사실(counterfactuals)을 핵심 메커니즘으로 제시한다.
• 의사결정 트리 분류기를 기반으로 음성 및 텍스트 기반 인터랙티브 반사실 설명기인 Glass-Box를 개발한다.
• 이진 메타피처 공간의 잎-잎 거리 메트릭을 사용하여 최소한의 반사실 설명을 생성한다.
• 자연어 대화를 통해 Why?, Why given?, Why despite?, What if? 등 인터랙티브 질의를 지원한다.
• 공정성 및 기타 속성에 대한 설명을 가능하게 하도록 데이터세트를 주석 처리하고 Google AIY Voice Kit 설정으로 배포한다.

(a) Default segmentation.

실험 결과

연구 질문

• RQ1 설명들이 피설명자의 필요에 더 잘 맞도록 어떻게 개인화되고 인터랙티브하게 조작될 수 있는가?
• RQ2 진정으로 인터랙티브한 XAI 시스템 설계를 이끌어야 할 속성과 desiderata는 무엇인가?
• RQ3 실세계 환경에서 인터랙티브 설명자를 배치할 때의 실용적 도전과 안전 문제는 무엇인가?
• RQ4 대체적 반사실 설명을 인터랙티브 대화에서 어떻게 생성하고 탐색할 수 있는가?
• RQ5 엔드투엔드 인터랙티브 설명자를 배치하고 평가하면서 어떤 가이드라인이 도출되는가?

주요 결과

• 인터랙티브 설명은 매체뿐만 아니라 콘텐츠, 범위, 제시 방식으로도 개인화될 수 있다.
• 자연어 대화를 통해 제공되는 클래스-대비 반사실 설명은 자연스럽고 직관적인 설명자 형태이다.
• 엔드투-엔드 인터랙티브 설명자는 UI, NLP, NLG, 대화 관리 및 XAI 알고리즘의 통합이 필요하다.
• 설명을 자유롭게 조작하도록 허용할 때 훈련 데이터나 모델 정보의 누출 가능성과 같은 중요한 안전 및 프라이버시 위험이 있다.
• Wizard-of-Oz 연구는 전체 배포 전에 인터랙티브 설명성 알고리즘을 시험하는 대리 연구로 권장된다.
• Glass-Box 경험은 인터랙티브하고 개인화된 설명을 구축하기 위한 구체적인 desiderata와 교훈을 제공했다.

(b) User-merged segmentation.