[论文解读] Explainable AI: Beware of Inmates Running the Asylum Or: How I Learnt to Stop Worrying and Love the Social and Behavioural Sciences

Tim Miller, Piers D. L. Howe+1 more|arXiv (Cornell University)|Dec 2, 2017

Explainable Artificial Intelligence (XAI)参考文献 25被引用 209

一句话总结

本文认为可解释人工智能常常反映研究者自身需求，而非最终用户，并主张将XAI以人为中心、基于社会/行为科学研究进行基础化评估。它综述相关工作，强调解释具有社会性、对比性，并需要人类在环验证。

ABSTRACT

In his seminal book `The Inmates are Running the Asylum: Why High-Tech Products Drive Us Crazy And How To Restore The Sanity' [2004, Sams Indianapolis, IN, USA], Alan Cooper argues that a major reason why software is often poorly designed (from a user perspective) is that programmers are in charge of design decisions, rather than interaction designers. As a result, programmers design software for themselves, rather than for their target audience, a phenomenon he refers to as the `inmates running the asylum'. This paper argues that explainable AI risks a similar fate. While the re-emergence of explainable AI is positive, this paper argues most of us as AI researchers are building explanatory agents for ourselves, rather than for the intended users. But explainable AI is more likely to succeed if researchers and practitioners understand, adopt, implement, and improve models from the vast and valuable bodies of research in philosophy, psychology, and cognitive science, and if evaluation of these models is focused more on people than on technology. From a light scan of literature, we demonstrate that there is considerable scope to infuse more results from the social and behavioural sciences into explainable AI, and present some key results from these fields that are relevant to explainable AI.

研究动机与目标

• 主张可解释AI的研究方向可能由研究者的视角驱动，而非用户的需求。
• 表明社会科学与人因因素在XAI文献中代表性不足。
• 倡导将哲学、心理学和认知科学的解释模型嵌入到XAI中。
• 鼓励使用人类行为研究数据来评估解释。

提出的方法

• 对IJCAI 2017 XAI工作坊相关工作清单中的23篇文章进行一次轻量级调查，以评估其对社会科学解释的暴露程度。
• 按主题（相关 vs 非相关）以及基于社会科学参考文献和人类行为数据的数据驱动和验证标准对论文进行分类。
• 概述与解释相关的社会科学文献中的关键思想（对比性解释、归因理论、解释选择、评估，以及解释的对话性质）。
• 识别将社会科学洞见整合到XAI模型设计与评估中的差距与潜在影响点。

实验结果

研究问题

• RQ1 XAI论文在多大程度上建立在社会科学的解释理论之上？
• RQ2 在XAI文献中用于验证解释的人类行为实验有多频繁？
• RQ3 哪些社会科学概念（例如对比性解释、归因、解释选择）可以为XAI模型提供信息？
• RQ4 研究人员可以采取哪些实际步骤，以使XAI符合以人为中心的评估标准？

主要发现

• 许多XAI论文很少借鉴社会科学或人因因素；只有一小部分引用社会科学解释，且更少将其工作建立在人类行为数据之上。
• 在所调查的文献中，用于评估解释的人类行为实验很少。
• 来自社会科学的对比性解释、归因理论和解释选择为设计与评估AI中的解释提供了宝贵的指导。
• 解释应被视为受对话准则约束的交互式对话，而不仅仅是对模型内部机制的静态披露。
• 本文主张加强与社会/行为科学家的合作，并采用由人类行为数据驱动的评估，与DARPA强调的人机在环相一致。