[논문 리뷰] Understanding Consumer Preferences for Explanations Generated by XAI Algorithms

Yanou Ramon, Tom Vermeire외 3명|arXiv (Cornell University)|2021. 07. 06.

Explainable Artificial Intelligence (XAI)참고 문헌 64인용 수 7

한 줄 요약

이 연구는 온라인 광고와 대출 신청이라는 두 가지 맥락에서 선택 기반 공액 분석을 통해 설명 가능 인공지능(XAI) 알고리즘이 생성한 설명에 소비자가 어떻게 반응하는지 소비자 선호도를 조사한다. 연구 결과, 반사적 설명은 부정적인 결과 이후에만 선호되며, 사용자는 중간 수준의 복잡성을 수용할 수 있으며, 구체성 선호도는 인지 스타일과 의사결정의 구체성 수준에 따라 달라진다. 이는 반사적 설명이 보편적으로 선호된다는 가정에 도전한다.

ABSTRACT

Explaining firm decisions made by algorithms in customer-facing applications is increasingly required by regulators and expected by customers. While the emerging field of Explainable Artificial Intelligence (XAI) has mainly focused on developing algorithms that generate such explanations, there has not yet been sufficient consideration of customers' preferences for various types and formats of explanations. We discuss theoretically and study empirically people's preferences for explanations of algorithmic decisions. We focus on three main attributes that describe automatically-generated explanations from existing XAI algorithms (format, complexity, and specificity), and capture differences across contexts (online targeted advertising vs. loan applications) as well as heterogeneity in users' cognitive styles. Despite their popularity among academics, we find that counterfactual explanations are not popular among users, unless they follow a negative outcome (e.g., loan application was denied). We also find that users are willing to tolerate some complexity in explanations. Finally, our results suggest that preferences for specific (vs. more abstract) explanations are related to the level at which the decision is construed by the user, and to the deliberateness of the user's cognitive style.

연구 동기 및 목표

• 실제 의사결정 맥락에서 소비자가 다양한 유형의 알고리즘 설명을 어떻게 선호하는지 이해하기 위해.
• 설명 형식, 복잡성, 구체성의 영향이 사용자 선호도에 어떻게 작용하는지 조사하기 위해.
• 의사결정 맥락(예: 고위험 대비 저위험 의사결정)과 개인적 차이(예: 인지 스타일)가 XAI 설명 선호도에 어떻게 영향을 미치는지 조사하기 위해.
• XAI 연구에서 일반적으로 가정되는 바(예: 어떤 설명 유형이 가장 효과적이거나 바람직한가)를 실증적으로 검증하기 위해.

제안 방법

• Study 1(광고)에서는 2,592개의 쌍대비 비교, Study 2(대출 신청)에서는 5,760개의 쌍대비 비교를 통해 선택 기반 공액 분석(CBC)을 사용하여 선호도를 확보하였다.
• 세 가지 핵심 속성을 조작하였다: 설명 형식(반사적 대비 기능 중요도), 복잡성(낮음 대비 중간), 기능의 구체성(저수준 대비 고수준 기능).
• 개인 간 이질성을 반영하기 위해 계층 베이즈(HB) 모델링을 적용하고 마르코프 체인 몬테카를로(MCMC) 추정을 사용하였다.
• 사고의 성찰성 수준을 측정하기 위해 인지 반사 테스트(CRT) 점수를 사용하여, 인지 스타일이 설명 선호도에 미치는 조절 효과를 분석하였다.
• 범주형 속성에 대해 효과 코드화를 적용하였고, 모델 계수의 사전 분포를 비정보성 있는 정규분포로 설정하였으며, 기본 분산과 자유도를 사용하였다.
• 모델은 20,000회의 MCMC 추출을 수행하였고, 추론에는 마지막 5,000회를 사용하였으며, 수렴한 추출값에서 신뢰구간을 계산하였다.

실험 결과

연구 질문

• RQ1 사용자의 설명 형식 선호도(반사적 대비 기능 중요도)는 다양한 의사결정 맥락에서 어떻게 달라지는가?
• RQ2 설명의 복잡성이 사용자 선호도에 어떤 영향을 미치며, 수용 가능한 복잡성 한계가 존재하는가?
• RQ3 설명 내 기능의 구체성(저수준 대비 고수준)이 사용자 선호도에 어떤 영향을 미치며, 이는 의사결정 맥락에 따라 달라지는가?
• RQ4 CRT로 측정된 인지 스타일의 개인적 차이가 설명 속성 선호도에 어떻게 조절 작용하는가?
• RQ5 의사결정의 구체성 수준(예: 구체적 대비 추상적)이 구체성과 선호도 간의 관계를 매개하는가?

주요 결과

• 반사적 설명은 전반적으로 선호되지 않았지만, 고위험, 부정적인 의사결정 맥락(예: 대출 거절)에서는 유의미하게 더 선호되었으며, 이 경우 가장 가치 있는 형식이 되었다.
• 사용자는 설명의 중간 수준의 복잡성을 수용할 의향을 보였으며, 대출 신청 맥락에서 중간 복잡성 설명의 부분가치 유용도가 낮은 복잡성 설명보다 높았다.
• 고위험, 부정적인 의사결정에서 고수준 기능의 구체성(예: '스포츠'라는 표현은 'ESPN.com 방문'보다 구체성 수준이 높음)이 강하게 선호되었으며, 부분가치 유용도가 0.661(95% 신뢰구간: [0.517, 0.821])로 나타나 추상적, 고수준 기능의 선호도가 뚜렷하게 확인되었다.
• 반대로, 저위험 맥락에서는 저수준 구체성(예: 특정 웹사이트)이 선호되었으며, 타겟 광고 맥락에서 부분가치 유용도가 0.499(95% 신뢰구간: [0.375, 0.654])로 나타났다.
• CRT 점수로 측정된 인지 스타일은 구체성 선호도를 조절하였다: 더 높은 성찰성 수준을 보이는 개인은 고위험 맥락에서 고수준, 추상적 설명을 더 선호하는 경향을 보였다.
• 구체성 선호도는 균일하지 않았으며, 사용자가 의사결정을 어떻게 해석하는지에 따라 크게 영향을 받았다. 추상적 수준에서 의사결정을 바라보는 사용자는 추상적 설명을 선호했고, 구체적 수준에서 바라보는 사용자는 특정한 설명을 선호했다.