[论文解读] Explainable AI and Adoption of Financial Algorithmic Advisors: an Experimental Study

Daniel Ben David, Yehezkel S. Resheff+1 more|arXiv (Cornell University)|Jan 5, 2021

Explainable Artificial Intelligence (XAI)参考文献 26被引用 4

一句话总结

本实验研究调查了不同类型的可解释人工智能（XAI）解释——局部解释与全局解释——如何影响用户对金融算法顾问的采纳率、信任度以及支付意愿。通过一个带有真实货币奖励的基于网络的柠檬水摊游戏，作者发现基于准确性的解释能提升初始采纳率，而基于特征或准确性的解释能缓解模型失效后的信任损失，且自动驾驶功能显著提高了采纳率。

ABSTRACT

We study whether receiving advice from either a human or algorithmic advisor, accompanied by five types of Local and Global explanation labelings, has an effect on the readiness to adopt, willingness to pay, and trust in a financial AI consultant. We compare the differences over time and in various key situations using a unique experimental framework where participants play a web-based game with real monetary consequences. We observed that accuracy-based explanations of the model in initial phases leads to higher adoption rates. When the performance of the model is immaculate, there is less importance associated with the kind of explanation for adoption. Using more elaborate feature-based or accuracy-based explanations helps substantially in reducing the adoption drop upon model failure. Furthermore, using an autopilot increases adoption significantly. Participants assigned to the AI-labeled advice with explanations were willing to pay more for the advice than the AI-labeled advice with a No-explanation alternative. These results add to the literature on the importance of XAI for algorithmic adoption and trust.

研究动机与目标

• 调查不同类型的可解释人工智能（XAI）解释如何影响用户对金融算法顾问的采纳率、信任度以及支付意愿。
• 评估解释类型对用户行为的影响，特别是在模型性能变化（成功与失败）情况下的表现。
• 比较人类建议与AI建议在采纳率和用户感知方面的差异，特别是在模型失效条件下的表现。
• 评估自动驾驶功能与解释满意度在塑造用户决策与信任中的作用。
• 开发并验证一种动态实验框架，利用真实金融激励来研究用户对AI系统行为的演变过程。

提出的方法

• 通过一个带有真实货币后果的受控网络实验，利用柠檬水摊游戏模拟金融决策过程。
• 将参与者随机分配至接收来自人类或算法顾问的建议，每种建议均配对五种解释类型之一：全局解释（模型性能、特征重要性、原型示例）、局部解释（基于准确性、基于特征）或无解释。
• 在多个时间点测量采纳率、信任水平以及支付意愿（WTP），包括模型失效事件前后的数据。
• 收集游戏后的问卷，评估用户对解释质量、信任前因以及满意度的感知。
• 使用统计分析比较不同条件下的采纳率与WTP，重点关注时间依赖效应与失效后的恢复能力。
• 采用混合方法，结合行为指标与自我报告的信任度与满意度，以验证研究发现。

实验结果

研究问题

• RQ1 解释类型（局部 vs. 全局，基于准确性 vs. 基于特征）是否显著影响用户对AI金融建议的初始采纳率？
• RQ2 模型失效如何影响用户采纳率与信任度？特定的解释类型能否缓解这一负面影响？
• RQ3 自动驾驶功能的存在是否显著提高用户对AI建议的采纳率，相较于手动决策？
• RQ4 解释的引入如何影响用户为AI生成的金融建议所愿意支付的金额？
• RQ5 解释满意度、信任前因与失效事件后长期采纳行为之间存在何种关系？

主要发现

• 在初始阶段，基于准确性的解释相比无解释或其他解释类型，显著提升了采纳率。
• 当模型表现完美时，解释类型对采纳率的影响微乎其微，表明高性能可降低对详细解释的需求。
• 模型失效后，基于特征和基于准确性的解释显著减少了采纳率的下降，并有助于维持信任，优于简单解释或无解释。
• 获得带解释的AI建议的参与者，其支付意愿高于未获解释的AI建议用户，表明解释提升了建议的感知价值。
• 自动驾驶功能显著提高了采纳率，表明用户更倾向于在可能的情况下将决策权委托给AI，尤其是在不确定性较高的情境下。
• 解释满意度与初始采纳率之间存在强烈正相关关系，信任前因与因失效导致的采纳率下降的抗损能力之间也存在正相关关系。