[논문 리뷰] Directive Explanations for Actionable Explainability in Machine Learning Applications

Ronal Singh, Paul Dourish외 5명|arXiv (Cornell University)|2021. 02. 03.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 기계학습 결정에서 원하는 결과를 달성하기 위해 개인이 취할 수 있는 구체적인 단계를 안내하는 지시형 설명—즉, 실행 가능한 권고—를 소개한다. 예를 들어 대출 승인과 같은 결정에서의 행동 지침을 포함한다. 온라인 연구를 통해 지시형 설명에 대한 강력한 선호도가 확인되었으며(p < 0.001), 인간 중심의, 맥락에 맞는 복구 방법을 강조하는 마코프 결정 과정(Markov Decision Process) 기반의 개념적 모델을 제안한다.

ABSTRACT

This paper investigates the prospects of using directive explanations to assist people in achieving recourse of machine learning decisions. Directive explanations list which specific actions an individual needs to take to achieve their desired outcome. If a machine learning model makes a decision that is detrimental to an individual (e.g. denying a loan application), then it needs to both explain why it made that decision and also explain how the individual could obtain their desired outcome (if possible). At present, this is often done using counterfactual explanations, but such explanations generally do not tell individuals how to act. We assert that counterfactual explanations can be improved by explicitly providing people with actions they could use to achieve their desired goal. This paper makes two contributions. First, we present the results of an online study investigating people's perception of directive explanations. Second, we propose a conceptual model to generate such explanations. Our online study showed a significant preference for directive explanations ($p&lt;0.001$). However, the participants' preferred explanation type was affected by multiple factors, such as individual preferences, social factors, and the feasibility of the directives. Our findings highlight the need for a human-centred and context-specific approach for creating directive explanations.

연구 동기 및 목표

• 지시형 설명—원하는 결과를 달성하기 위한 행동에 대한 명시적 권고—가 기계학습 결정에서 사용자 이해도 및 복구 가능성에 미치는 영향을 조사하는 것.
• 개인의 선호도, 사회적 요인, 행동의 실현 가능성 등이 지시형 설명과 비지시형 설명 간의 선택에 어떻게 影향을 미치는지 탐구하는 것.
• 기계학습 결정에서 복구를 계획 문제로 간주하여 마코프 결정 과정(Markov Decision Processes, MDPs)을 활용해 지시형 설명을 생성할 수 있는 개념적 모델을 개발하는 것.
• 실제 결정 상황, 예를 들어 대출 승인과 같은 고위험 결정에서 표준 대체 조건 설명과 비교해 지시형 설명의 효과성을 평가하는 것.
• 사용자가 복구를 구하기 위해 필요한 실행 가능한, 개인화된 안내를 우선시하는 인간 중심의, 맥락에 맞는 설명 가능 AI의 접근을 주장하는 것.

제안 방법

• 아마존 MTurk를 통해 54명의 참가자와 함께 온라인 연구를 수행하였으며, 15개의 대출 결정 사례를 사용해 세 가지 유형의 설명을 비교하였다: 비지시형 대체 조건 설명, 지시형 특정(예: '자동차 대출을 갚으세요'), 지시형 일반(예: '전체 부채를 줄이세요').
• 사용자 인식과 추론을 평가하기 위해 설명 유형에 대한 순위 선호도와 정성적 피드백을 수집하였다.
• 현재 상태에서 원하는 결과로 이르는 계획 문제로 간주하여 지시형 설명 생성을 정형화하기 위해 마코프 결정 과정(Markov Decision Processes, MDPs) 기반의 개념적 모델을 제안하였다.
• 학습된 모델에서 실행 가능한 입력 특징을 실제 행동으로 매핑하여, 권고가 실현 가능하고 맥락적으로 관련성이 있도록 보장하였다.
• 사용자 선호도와 행동 비용 고려 사항을 설명 생성 과정에 통합하여, 개선된 관련성을 위한 대화 기반 개인화를 제안하였다.
• 구조적 인과 모델과 이전 연구에서 제시한 플립 세트(Flip Sets, Ustun et al., 2019)를 기초 구성 요소로 사용하여, 생성된 지시가 보장된 원하는 결과로 이어지도록 보장하였다.

실험 결과

연구 질문

• RQ1 사용자들은 비지시형 대체 조건 설명과 비교해 지시형 설명을 어떻게 평가하는가? 선호도와 실용성 측면에서 어떻게 다른가?
• RQ2 개인의 선호도, 사회적 맥락, 행동의 실현 가능성 등 어떤 요소들이 지시형 특정 설명과 지시형 일반 설명 간의 선택에 영향을 미치는가?
• RQ3 마코프 결정 과정(Markov Decision Processes) 기반의 개념적 모델이 기계학습 결정에서 실행 가능하고 맥락 인지형 지시를 효과적으로 생성할 수 있는가?
• RQ4 대출 승인과 같은 고위험 결정에서, 단순히 대체 조건 상태를 묘사하는 것보다 명시적인 행동 권고를 얼마나 가치 있게 여길 수 있는가?
• RQ5 개인의 제약 조건과 선호도를 고려해 설명을 어떻게 개인화할 수 있으며, 同시에 실현 가능성과 정확성을 유지할 수 있는가?

주요 결과

• 지시형 설명은 비지시형 대체 조건 설명보다 통계적으로 유의미하게 선호되었으며(p < 0.001), 약 50%의 참가자가 지시형 특정 설명을 선택하였다.
• 사용자가 실현 가능한 행동을 취할 수 있고 개인적 상황과 부합할 경우, 지시형 특정 설명을 선호하였다. 예를 들어 부채를 줄이거나 대출을 갚는 것.
• 특정 행동이 너무 비용이 많이 들거나 비현실적으로 여겨질 경우, 사용자는 행동 선택의 자율성을 원하기 때문에 지시형 일반 설명을 선호하였다.
• 결정이 유리한 경우(예: 대출 승인) 설명의 가치가 떨어진다고 느끼는 참가자가 다수였으며, 이는 설명의 유용성이 맥락에 따라 달라짐을 시사한다.
• 사용자 선호도는 행동의 비용과 실현 가능성에 영향을 받았으며, 이는 모든 지시가 개인 간에 동일하게 효과적이지 않음을 시사한다.
• 일률적인 설명 유형은 부적합하며, 실생활 AI 시스템에서 적응형, 개인화된, 맥락 인지형 설명 생성의 필요성을 재확인하였다.