[论文解读] In AI We Trust? Factors That Influence Trustworthiness of AI-infused Decision-Making Processes

Maryam Ashoori, Justin D. Weisz|arXiv (Cornell University)|Dec 5, 2019

Explainable Artificial Intelligence (XAI)参考文献 32被引用 52

一句话总结

这项研究评估七个因素（stakes、decider、trainer、interpretability、train/test description、social transparency、model confidence）如何塑造对嵌入AI的决策的信任，发现可解释模型和透明的训练数据可提升信任。

ABSTRACT

Many decision-making processes have begun to incorporate an AI element, including prison sentence recommendations, college admissions, hiring, and mortgage approval. In all of these cases, AI models are being trained to help human decision makers reach accurate and fair judgments, but little is known about what factors influence the extent to which people consider an AI-infused decision-making process to be trustworthy. We aim to understand how different factors about a decision-making process, and an AI model that supports that process, influences peoples' perceptions of the trustworthiness of that process. We report on our evaluation of how seven different factors -- decision stakes, decision authority, model trainer, model interpretability, social transparency, and model confidence -- influence ratings of trust in a scenario-based study.

研究动机与目标

• 识别在AI-infused decision-making过程中的哪些因素会影响感知的可信度。
• 量化每个因素对信任的多方面维度的影响（可信度、可靠性、技术能力、可理解性、个人依附感）。
• 检验因素之间的相互作用（例如，decider、trainer、confidence）及其对信任的影响。
• 评估来自众包参与者的信任感知在个体之间的变异性。
• 通过突出最终用户的信息需求，为设计可信赖的AI系统提供指南。

提出的方法

• 基于情景的评估，因子水平的128个独特组合（2x2x2x2x2x2x2）。
• 使用Mechanical Turk的众包评分研究，样本量N=320名参与者（每位参与者两个情景，低stakes和高stakes）。
• 使用经改编的量表对信任可信度、可靠性、技术能力和个人依附感进行多方面的信任测量（4点Likert量表）。
• 以参与者为随机效应的方差分析（ANOVA）以评估主效应和交互作用，并报告部分η平方作为效应量。
• 对开放性回答进行定性分析，以理解信任判断背后的原因。

实验结果

研究问题

• RQ1 这七个情景因素如何影响AI驱动决策中的不同信任维度？
• RQ2 因素之间的相互作用（尤其是decider、trainer和model confidence）是否会调节信任？
• RQ3 利益相关者的认知和个体差异在信任判断中起到什么作用？
• RQ4 在高低stakes决策中，训练数据的可解释性和透明度是否与更高的信任相关？

主要发现

• 可解释模型在信任可信度、可靠性和技术能力方面的评分始终高于黑盒模型。
• 提供有关模型如何训练和测试的信息显著提高与信任相关的评分。
• 社会透明度（关于影响他人的决策的信息）对信任维度的影响较小但为正向。
• 低-stakes 场景比高-stakes场景产生更高的对AI驱动流程的信任。
• 当AI为决策者时，由人类数据科学家进行训练（相对于自动化AI）提高了与信任相关的判断；当决策者是人类时，trainer效应较小。
• 模型置信度可视化会提升信任，尤其是在决策者为AI时；缺乏置信信息会降低信任。