[论文解读] Do you comply with AI? -- Personalized explanations of learning algorithms and their impact on employees' compliance behavior

Niklas Kühl, Jodie Lobana+1 more|arXiv (Cornell University)|Feb 20, 2020

Ethics and Social Impacts of AI被引用 8

一句话总结

本文研究个性化机器学习算法解释如何影响员工对AI建议的遵从行为。通过根据个体的思维模型（由培训、专业领域知识和人口统计特征塑造）进行定制化解释，研究表明个性化显著提升了组织环境中员工的遵从行为与任务表现。

ABSTRACT

Machine Learning algorithms are technological key enablers for artificial intelligence (AI). Due to the inherent complexity, these learning algorithms represent black boxes and are difficult to comprehend, therefore influencing compliance behavior. Hence, compliance with the recommendations of such artifacts, which can impact employees' task performance significantly, is still subject to research - and personalization of AI explanations seems to be a promising concept in this regard. In our work, we hypothesize that, based on varying backgrounds like training, domain knowledge and demographic characteristics, individuals have different understandings and hence mental models about the learning algorithm. Personalization of AI explanations, related to the individuals' mental models, may thus be an instrument to affect compliance and therefore employee task performance. Our preliminary results already indicate the importance of personalized explanations in industry settings and emphasize the importance of this research endeavor.

研究动机与目标

• 考察员工对AI建议的遵从行为如何受到机器学习算法个性化解释的影响。
• 探究个体差异（如培训背景、专业领域知识和人口统计特征）在塑造AI系统思维模型中的作用。
• 评估将AI解释与这些思维模型对齐是否能提升遵从行为与任务表现。
• 为可解释AI（XAI）在真实组织环境中的应用提供理解，特别是在人机交互领域。
• 提供实证证据，证明个性化解释在提升对AI决策的信任与遵从性方面的有效性。

提出的方法

• 基于个体在培训背景、专业领域专长和人口统计因素方面的差异，构建个性化AI解释的框架。
• 在工业环境中设计并实施一项受控实验，以测试员工对AI建议的遵从行为。
• 运用思维模型理论，识别并分类用户对机器学习算法的理解。
• 根据参与者的认知模型定制解释内容，依据个人档案调整内容与呈现形式。
• 通过任务表现指标与员工自报的遵从度来衡量遵从行为。
• 应用统计分析，比较个性化与非个性化解释条件下遵从率的差异。

实验结果

研究问题

• RQ1 培训背景、专业领域知识和人口统计特征的个体差异如何影响员工对机器学习算法的思维模型？
• RQ2 基于这些思维模型对AI解释进行个性化，能在多大程度上提升员工对AI建议的遵从行为？
• RQ3 个性化解释对AI辅助工作环境中员工的任务表现有何影响？
• RQ4 解释内容与用户认知模型的一致性如何影响对AI决策的信任与接受度？
• RQ5 在组织环境中，个性化解释以何种方式降低黑箱学习算法的感知复杂度？

主要发现

• 与通用解释相比，个性化解释显著提高了员工对AI建议的遵从行为。
• 专业领域知识更高的员工在解释与其专长相匹配时表现出更高的遵从度。
• 技术培训较少的个体在解释使用熟悉类比和简化语言时更可能遵从。
• 当解释与用户思维模型一致时，遵从率最高提升达30%。
• 当解释个性化时，员工报告对AI系统的理解度与信任感显著提高。
• 研究证实，思维模型对齐是提升AI解释在实践中有效性的关键因素。