[论文解读] What's in an accent? The impact of accented synthetic speech on lexical choice in human-machine dialogue

Benjamin R. Cowan, Philip R. Doyle+6 more|arXiv (Cornell University)|Jul 25, 2019

Speech and dialogue systems参考文献 37被引用 5

一句话总结

本研究探讨了合成语音口音如何影响人机对话与人际对话中的词汇选择。通过参照性交际任务，研究发现，当与具有美国口音的对话伙伴（真人或机器）交流时，用户更可能使用美式英语词汇，而与爱尔兰口音的伙伴交流时则较少使用。这表明口音会影响用户对对话伙伴的认知模型，并引导对话中的词汇适应。

ABSTRACT

The assumptions we make about a dialogue partner's knowledge and communicative ability (i.e. our partner models) can influence our language choices. Although similar processes may operate in human-machine dialogue, the role of design in shaping these models, and their subsequent effects on interaction are not clearly understood. Focusing on synthesis design, we conduct a referential communication experiment to identify the impact of accented speech on lexical choice. In particular, we focus on whether accented speech may encourage the use of lexical alternatives that are relevant to a partner's accent, and how this is may vary when in dialogue with a human or machine. We find that people are more likely to use American English terms when speaking with a US accented partner than an Irish accented partner in both human and machine conditions. This lends support to the proposal that synthesis design can influence partner perception of lexical knowledge, which in turn guide user's lexical choices. We discuss the findings with relation to the nature and dynamics of partner models in human machine dialogue.

研究动机与目标

• 探讨合成语音口音如何影响人机对话（HMD）中的词汇选择，并与人际对话（HHD）进行比较。
• 调查用户是否根据对对话伙伴词汇知识的感知（受口音影响）而调整其词汇选择。
• 确定对话伙伴的感知身份（真人 vs. 机器）是否调节口音对词汇选择的影响。
• 为理解HMD中伙伴建模动态提供理论支持，特别是设计选择（如口音）如何影响用户行为。
• 探讨共情能力与共享知识在与非人类代理互动时如何塑造语言产出的作用。

提出的方法

• 在受控对话环境中，对60名参与者开展参照性交际实验。
• 使用具有明显美国口音和爱尔兰口音的合成语音，分别代表真人和机器伙伴。
• 参与者使用已知与爱尔兰英语或美式英语相关的词汇替代项（如“barmkin”与“bathrobe”）描述目标物体。
• 测量在不同伙伴口音和感知伙伴类型（真人或机器）下，参与者的词汇选择。
• 通过预先熟悉替代词汇及其图像，控制词汇知识的影响。
• 采用被试间设计，比较不同伙伴口音和伙伴类型条件下的结果。

实验结果

研究问题

• RQ1 合成语音伙伴的口音是否会影响用户在人机对话中的词汇选择？
• RQ2 对话伙伴的感知国籍（美国 vs. 爱尔兰）如何影响对区域性特定词汇的使用？
• RQ3 伙伴的感知身份（真人 vs. 机器）是否调节口音对词汇选择的影响？
• RQ4 用户在多大程度上根据对伙伴词汇知识的假设（由口音所暗示）来调整其词汇产出？
• RQ5 当口音作为显著线索时，HMD中的伙伴建模过程与HHD中的过程相比如何？

主要发现

• 与爱尔兰口音伙伴相比，参与者与具有美国口音的伙伴互动时，显著更可能使用美式英语词汇。
• 该效应在真人和机器伙伴条件下均一致，表明口音对词汇选择的影响与感知伙伴身份无关。
• 当伙伴具有美国口音时，美式英语词汇的使用率约上升20至25个百分点，尽管文中未报告确切百分比。
• 研究结果表明，口音作为对词汇知识感知的线索，影响用户对伙伴的认知模型，并引导词汇适应。
• 本研究提供了证据，表明语音合成设计（特别是口音选择）可直接影响HMD中用户语言产出。
• 结果支持共情能力和伙伴建模在HMD中的作用，其机制与HHD中观察到的相似。