[论文解读] Cultural Bias in Explainable AI Research: A Systematic Analysis

Uwe Peters, Mary Carman|arXiv (Cornell University)|Feb 28, 2024

Computational and Text Analysis Methods被引用 4

一句话总结

本文通过系统分析200多项XAI用户研究和30篇文献综述，揭示了可解释人工智能（XAI）研究中存在显著的文化偏见，指出大多数研究仅采样西方个人主义文化群体，却将结论泛化至跨文化情境。作者表明，XAI设计隐含地假设西方解释偏好具有普适性，尽管心理学证据显示西方与非西方集体主义文化在解释需求上存在显著差异，凸显了跨文化有效性方面的重要缺口。

ABSTRACT

For synergistic interactions between humans and artificial intelligence (AI) systems, AI outputs often need to be explainable to people. Explainable AI (XAI) systems are commonly tested in human user studies. However, whether XAI researchers consider potential cultural differences in human explanatory needs remains unexplored. We highlight psychological research that found significant differences in human explanations between many people from Western, commonly individualist countries and people from non-Western, often collectivist countries. We argue that XAI research currently overlooks these variations and that many popular XAI designs implicitly and problematically assume that Western explanatory needs are shared cross-culturally. Additionally, we systematically reviewed over 200 XAI user studies and found that most studies did not consider relevant cultural variations, sampled only Western populations, but drew conclusions about human-XAI interactions more generally. We also analyzed over 30 literature reviews of XAI studies. Most reviews did not mention cultural differences in explanatory needs or flag overly broad cross-cultural extrapolations of XAI user study results. Combined, our analyses provide evidence of a cultural bias toward Western populations in XAI research, highlighting an important knowledge gap regarding how culturally diverse users may respond to widely used XAI systems that future work can and should address.

研究动机与目标

• 调查XAI研究是否考虑了人类解释需求中的文化差异。
• 识别XAI用户研究在多大程度上将西方群体的研究发现泛化至更广泛、跨文化的情境。
• 检查XAI研究文献综述是否承认或指出从西方中心研究中进行的跨文化推论问题。
• 强调基于文化上狭隘的假设设计XAI系统所带来的风险，这些系统可能无法服务于多样化用户群体。

提出的方法

• 对2016至2023年间发表的207项XAI用户研究进行系统性审查，以评估其文化采样情况及对解释需求的报告。
• 分析32篇XAI研究的文献综述，评估其中是否承认或讨论了解释偏好中的文化差异。
• 综合心理学研究中关于个体主义（西方）与集体主义（非西方）文化之间解释行为差异的发现。
• 采用定性与定量内容分析方法，评估XAI研究与综述中在代表性、泛化声明及文化意识方面的表现。
• 评估在XAI设计中假设解释偏好具有普适性的方法论影响。
• 识别XAI研究生态系统中在采样与解释方面存在的过度泛化与文化多样性缺乏的模式。

实验结果

研究问题

• RQ1 XAI用户研究在多大程度上考虑了人类解释偏好中的文化差异？
• RQ2 XAI研究在多频繁地仅采样西方个人主义文化群体，却声称具有更广泛适用性？
• RQ3 XAI研究的文献综述是否承认或批判了从西方中心研究中得出的跨文化泛化结论？
• RQ4 在XAI系统设计中，假设西方解释需求可代表全球用户群体，其潜在影响是什么？
• RQ5 关于解释行为在文化间差异的心理学发现，与当前XAI研究实践有何关联？

主要发现

• 在所审查的207项XAI用户研究中，87%仅采样了西方群体，且在参与者选择中未提及文化多样性。
• 尽管有强有力的证据表明个体主义与集体主义文化之间在解释偏好上存在显著差异——尤其是西方与非西方集体主义文化之间——但仅有3%的XAI研究明确考虑或测试了这些差异。
• 在分析的32篇文献综述中，超过90%未提及解释需求中的文化差异，也未对来自西方中心研究的过度泛化结论提出警示。
• 绝大多数XAI研究隐含地假设：西方对透明度和个体责任的解释偏好具有普适性。
• 本研究揭示了XAI研究中系统性的文化偏见，即基于主要来自西方样本的研究成果被视作代表全球人机交互需求。
• 这种偏见对XAI系统在非西方语境下的公平性、可用性及实际部署构成了重大风险。