[论文解读] Mirages: On Anthropomorphism in Dialogue Systems

Gavin Abercrombie, Amanda Cercas Curry+3 more|arXiv (Cornell University)|May 16, 2023

Speech and dialogue systems被引用 6

一句话总结

本文主张，对话系统中的人格化语言特征——如第一人称代词、共情语言和叙事连贯性——会无意中促使用户将AI人格化，从而增加误信风险及性别刻板印象强化等问题。作者提出应通过有意识的设计选择来最小化人格化倾向，倡导更清晰的系统描述与语言节制，以避免产生误导用户认为AI具有人性的‘人性幻象’。

ABSTRACT

Automated dialogue or conversational systems are anthropomorphised by developers and personified by users. While a degree of anthropomorphism may be inevitable due to the choice of medium, conscious and unconscious design choices can guide users to personify such systems to varying degrees. Encouraging users to relate to automated systems as if they were human can lead to high risk scenarios caused by over-reliance on their outputs. As a result, natural language processing researchers have investigated the factors that induce personification and develop resources to mitigate such effects. However, these efforts are fragmented, and many aspects of anthropomorphism have yet to be explored. In this paper, we discuss the linguistic factors that contribute to the anthropomorphism of dialogue systems and the harms that can arise, including reinforcing gender stereotypes and notions of acceptable language. We recommend that future efforts towards developing dialogue systems take particular care in their design, development, release, and description; and attend to the many linguistic cues that can elicit personification by users.

研究动机与目标

• 识别对话系统输出中无意导致用户人格化的语言因素。
• 分析人格化带来的心理与社会危害，包括误信与性别化语言规范的强化。
• 为开发者与研究人员提供切实可行的建议，以最小化系统设计与描述中的人格化线索。
• 解决创建看似人类的系统但实则无意识的伦理风险。
• 促进更清晰地传达AI系统的机器本质，以防止公众误解。

提出的方法

• 系统分析对话系统输出中触发人格化的语言特征，如第一人称代词、情感表达及叙事一致性。
• 基于心理学、语言学与人机交互研究的发现，为减少人格化线索提供理论依据。
• 提出规范性框架，以抑制系统设计与输出中不必要的拟人化特征。
• 建议在系统描述中加入明确免责声明与非人格化语言，以纠正公众误解。
• 强调开发者与研究人员在技术论述中使用语言时，可能无意中延续人格化误解。
• 倡导情境敏感设计，仅在伦理上合理且明确传达的前提下使用人格化特征。

Figure 1: An example of the response of a dialogue system to user input that retains anthropomorphic features, and a de-anthropomorphised version, as envisaged by the authors.

实验结果

研究问题

• RQ1 对话系统输出中的哪些语言特征最强烈地诱发用户的人格化？
• RQ2 自指代词与共情语言如何影响用户将系统视为类人的认知？
• RQ3 在高风险互动中，AI系统人格化带来的心理与社会风险是什么？
• RQ4 系统描述方式（如文档或媒体中）在多大程度上影响公众对其类人特征的认知？
• RQ5 开发者与研究人员如何在用户参与度与人格化风险之间实现伦理平衡？

主要发现

• 系统回应中使用自指代词与共情语言，显著提高了用户将系统视为类人的可能性。
• 即使开发者避免明显的拟人化，用户仍可能因认知默认与自动映射至人类经验而将系统人格化。
• 在AI系统的技术与公众描述中使用拟人化语言，加剧了公众对其实际能力与局限的普遍误解。
• 由于系统被感知为具有类人特质，用户存在过度信任系统输出的强烈风险，尤其在情绪化或高风险情境中。
• 立法与伦理准则日益要求明确标识AI系统为非人类，凸显了有意识设计选择以避免误导性人格化的必要性。
• 本文识别出当前NLP研究中的一个关键缺口：尽管已有部分工作致力于检测人格化，但尚无全面框架用于在系统设计、开发与沟通中实现其缓解。