[논문 리뷰] Explainable AI and Adoption of Financial Algorithmic Advisors: an Experimental Study

Daniel Ben David, Yehezkel S. Resheff외 1명|arXiv (Cornell University)|2021. 01. 05.

Explainable Artificial Intelligence (XAI)참고 문헌 26인용 수 4

한 줄 요약

이 실험적 연구는 다양한 유형의 설명 가능 인공지능(XAI) 설명—국소적 및 글로벌—이 금융 알고리즘 자문가에 대한 사용자 수용, 신뢰도 및 지불 의사에 어떤 영향을 미치는지 조사한다. 실제 금전적 이권이 있는 웹 기반 레모네이드 스탠드 게임을 사용하여, 저자가 발견한 linh은 정확도 기반 설명이 초도 수용을 증가시키며, 특성 기반 또는 정확도 기반 설명이 모델 장애 발생 후 신뢰도 손실를 완화시킨다는 점이며, 자동운전 기능은 수용률을 크게 높인다는 점이다.

ABSTRACT

We study whether receiving advice from either a human or algorithmic advisor, accompanied by five types of Local and Global explanation labelings, has an effect on the readiness to adopt, willingness to pay, and trust in a financial AI consultant. We compare the differences over time and in various key situations using a unique experimental framework where participants play a web-based game with real monetary consequences. We observed that accuracy-based explanations of the model in initial phases leads to higher adoption rates. When the performance of the model is immaculate, there is less importance associated with the kind of explanation for adoption. Using more elaborate feature-based or accuracy-based explanations helps substantially in reducing the adoption drop upon model failure. Furthermore, using an autopilot increases adoption significantly. Participants assigned to the AI-labeled advice with explanations were willing to pay more for the advice than the AI-labeled advice with a No-explanation alternative. These results add to the literature on the importance of XAI for algorithmic adoption and trust.

연구 동기 및 목표

• 다양한 유형의 설명 가능 인공지능(XAI) 설명이 금융 알고리즘 자문가에 대한 사용자 수용, 신뢰도 및 지불 의사에 어떤 영향을 미치는지 조사하기 위해.
• 설명 유형이 모델 성능 변화(성공 대 실패)에 대응하여 사용자 행동에 미치는 영향, 특히 시간에 따른 영향을 평가하기 위해.
• 모델 장애 상황에서 인간과 AI 자문 간 수용률 및 사용자 인식을 비교하기 위해.
• 자동운전 기능과 설명 만족도가 사용자 결정 및 신뢰도에 미치는 역할을 평가하기 위해.
• 실제 금전적 인centive를 활용하여 사용자 행동의 변화를 연구할 수 있는 동적 실험 프레임워크를 개발하고 검증하기 위해.

제안 방법

• 실제 금전적 결과가 수반되는 웹 기반 실험을 통해 금융 결정을 시뮬레이션하는 레모네이드 스탠드 게임을 사용한 통제된 실험을 수행하였다.
• 참가자를 랜덤으로 인간 자문가 또는 알고리즘 자문가에게 배정하였으며, 각각 다섯 가지 설명 유형 중 하나와 짝지어 제공되었다: 글로벌(모델 성능, 특성 중요도, 프로토타입 예시), 국소적(정확도 기반, 특성 기반), 또는 설명 없음.
• 모델 장애 발생 전후를 포함해 여러 시점에서 수용률, 신뢰 수준 및 지불 의사(WTP)를 측정하였다.
• 게임 후 설문지를 수집하여 사용자 인식, 설명 품질, 신뢰의 전제 조건 및 만족도를 평가하였다.
• 시간에 따라 변화하는 영향과 장애 복구 능력을 중심으로 하여 조건 간 수용 및 WTP를 비교하기 위해 통계 분석을 수행하였다.
• 행동 지표와 자가 보고된 신뢰도 및 만족도를 결합한 혼합 방법 접근법을 사용하여 연구 결과의 타당성을 검증하였다.

실험 결과

연구 질문

• RQ1 설명 유형(국소 대 글로벌, 정확도 기반 대 특성 기반)이 AI 금융 자문의 초도 수용에 유의미한 영향을 미치는가?
• RQ2 모델 장애가 사용자 수용 및 신뢰에 어떤 영향을 미치며, 특정한 설명 유형이 이 부정적 영향을 완화시킬 수 있는가?
• RQ3 자동운전 기능이 수동 결정 대비 AI 자문의 수용률을 증가시키는가?
• RQ4 설명의 포함 여부가 사용자에게 AI 기반 금융 자문에 대해 지불할 의사에 어떤 영향을 미치는가?
• RQ5 설명 만족도, 신뢰의 전제 조건과 장애 발생 후 장기적인 수용 행동 간의 관계는 어떠한가?

주요 결과

• 초기 단계에서 정확도 기반 설명은 설명 없음 또는 다른 설명 유형 대비 유의미하게 높은 수용률을 보였다.
• 모델이 완벽하게 기능했을 경우, 설명 유형의 영향은 수용에 미미했으며, 이는 높은 성능가지 세부 설명의 필요성이 줄어든다는 것을 시사한다.
• 모델 장애 발생 후 특성 기반 및 정확도 기반 설명은 수용률 감소를 유의미하게 줄였고, 신뢰 유지에 기여하여 단순하거나 설명 없음 유형을 능가했다.
• 설명이 포함된 AI 자문을 받은 참가자는 설명이 없는 경우보다 더 많은 금액을 지불할 의사가 있었으며, 이는 설명이 인식된 가치를 증가시킨다는 것을 시사한다.
• 자동운전 기능은 수용률을 유의미하게 높였으며, 이는 사용자가 가능한 한 결정을 위임하는 것을 선호한다는 것을 시사한다. 특히 불확실성 상황에서 그러한 경향이 뚜렷하다.
• 설명 만족도와 초도 수용 간, 그리고 신뢰의 전제 조건과 장애 발생 후 수용률 감소에 대한 회복력 간에 강한 정적 상관관계가 있었다.