[論文レビュー] What's in an accent? The impact of accented synthetic speech on lexical choice in human-machine dialogue

Benjamin R. Cowan, Philip R. Doyle+6 more|arXiv (Cornell University)|Jul 25, 2019

Speech and dialogue systems参考文献 37被引用数 5

ひとこと要約

本研究は、合成音声の発音が人間と機械の間の会話および人間同士の会話における語彙選択にどのように影響するかを調査する。参照的コミュニケーションタスクを用いた結果、ユーザーは米国発音の相手（人間または機械）と会話する際、アイルランド発音の相手と比較して、米国英語の語彙をはるかに多く使用する傾向があることが判明した。これは、発音がユーザーの相手モデルの構築を促し、会話における語彙の適応を導くことを示している。

ABSTRACT

The assumptions we make about a dialogue partner's knowledge and communicative ability (i.e. our partner models) can influence our language choices. Although similar processes may operate in human-machine dialogue, the role of design in shaping these models, and their subsequent effects on interaction are not clearly understood. Focusing on synthesis design, we conduct a referential communication experiment to identify the impact of accented speech on lexical choice. In particular, we focus on whether accented speech may encourage the use of lexical alternatives that are relevant to a partner's accent, and how this is may vary when in dialogue with a human or machine. We find that people are more likely to use American English terms when speaking with a US accented partner than an Irish accented partner in both human and machine conditions. This lends support to the proposal that synthesis design can influence partner perception of lexical knowledge, which in turn guide user's lexical choices. We discuss the findings with relation to the nature and dynamics of partner models in human machine dialogue.

研究の動機と目的

• 合成音声の発音が人間と機械の会話（HMD）に与える影響を検討し、これと人間同士の会話（HHD）を比較すること。
• ユーザーが相手の語彙知識を発音によって推測した場合、語彙選択がそれに応じて適応するかどうかを調査すること。
• 相手の身元（人間対機械）が発音の語彙選択への影響を緩和するかどうかを特定すること。
• HMDにおける相手モデル形成のダイナミクスを理論的に理解を深めること、特に発音といったデザイン選択がユーザー行動に与える影響を明らかにすること。
• 非人間エージェントと対話する際、視点の取り換えと共有知識が言語生成にどのように作用するかを検討すること。

提案手法

• 60名の参加者を対象に、制御された会話環境下で参照的コミュニケーション実験を実施した。
• 人間および機械の相手を表すために、明確に区別できる米国発音およびアイルランド発音の合成音声を用いた。
• 参加者は、アイルランド英語や米国英語に関連する語彙の代替語（例：「barmkin」と「bathrobe」）を用いて、対象物を説明した。
• 相手の発音および相手の種別（人間または機械）に基づく語彙選択を測定した。
• 語彙知識を制御するため、事前に参加者に代替語と画像を事前提示した。
• 被験者間設計を用いて、相手の発音および相手の種別条件の間で結果を比較した。

実験結果

リサーチクエスチョン

• RQ1 合成音声の相手の発音が、人間と機械の会話におけるユーザーの語彙選択に影響を与えるか？
• RQ2 会話相手のとらえられる国籍（米国対アイルランド）が、地域的特徴を持つ語彙の使用にどのように影響するか？
• RQ3 相手の身元（人間対機械）が、発音が語彙選択に与える影響を緩和するか？
• RQ4 ユーザーが発音によって示唆される相手の語彙知識に関する仮定に基づいて、語彙生成をどの程度適応させるか？
• RQ5 発音が顕著な手がかりである場合、HMDにおける相手モデル形成プロセスとHHDにおけるプロセスはどのように比較できるか？

主な発見

• 米国発音の相手と会話する際、参加者はアイルランド発音の相手と比較して、米国英語の語彙を有意に多く使用する傾向があった。
• この効果は、人間相手および機械相手の両条件で一貫しており、発音が相手の身元をどうとらえようとも、語彙選択に影響を与えることが示された。
• 相手が米国発音の場合、米国英語語彙の使用率は約20〜25パーセンテージポイント上昇したが、正確な数値は本文に記載されていない。
• 研究結果は、発音が認識された語彙知識の手がかりとして機能し、ユーザーの相手モデルの構築を促し、語彙の適応を導くことを示唆している。
• 本研究は、音声合成のデザイン（特に発音の選択）が、HMDにおけるユーザーの言語生成に直接的な影響を与える可能性がある証拠を提供している。
• 結果は、HMDにおける視点の取り換えと相手モデル形成の役割を支持しており、HHDで観察されたメカニズムと類似している。