[論文レビュー] Mirages: On Anthropomorphism in Dialogue Systems

Gavin Abercrombie, Amanda Cercas Curry+3 more|arXiv (Cornell University)|May 16, 2023

Speech and dialogue systems被引用数 6

ひとこと要約

この論文は、会話システムにおける人間的な言語的特徴——自己参照代名詞、共感的な表現、物語の一貫性——が、意図せずユーザーにAIを人間のように認識させることで、誤った信頼や性別に関するステレオタイプの強化といったリスクを引き起こすと主張している。著者たちは、人間化を最小限に抑えるための意図的な設計選択を提案し、システムの非人間性についての誤解を避けるために、明確なシステム説明と言語的自制を提唱している。これにより、『人間らしさの錯覚』——つまり、非人間的であるにもかかわらず人間のように見えると誤認させる現象——を防ぐことが可能になる。

ABSTRACT

Automated dialogue or conversational systems are anthropomorphised by developers and personified by users. While a degree of anthropomorphism may be inevitable due to the choice of medium, conscious and unconscious design choices can guide users to personify such systems to varying degrees. Encouraging users to relate to automated systems as if they were human can lead to high risk scenarios caused by over-reliance on their outputs. As a result, natural language processing researchers have investigated the factors that induce personification and develop resources to mitigate such effects. However, these efforts are fragmented, and many aspects of anthropomorphism have yet to be explored. In this paper, we discuss the linguistic factors that contribute to the anthropomorphism of dialogue systems and the harms that can arise, including reinforcing gender stereotypes and notions of acceptable language. We recommend that future efforts towards developing dialogue systems take particular care in their design, development, release, and description; and attend to the many linguistic cues that can elicit personification by users.

研究の動機と目的

• 会話システムのユーザーが人間化する原因となる言語的要因を特定すること。
• 人間化に起因する心理的・社会的被害——誤った信頼や性別に基づく言語規範の強化——を分析すること。
• 開発者や研究者が、システム設計における人間化的兆候を最小限に抑えるための実行可能な提言を提供すること。
• 非感覚的であるにもかかわらず人間のように見えるシステムを構築することに伴う倫理的リスクに対処すること。
• AIシステムの機械的性質について明確に伝えることで、一般の人々の誤解を防ぐこと。

提案手法

• 第一人称代名詞、感情表現、自己一貫性のある物語的構造といった、人間化を誘発する会話システム出力の言語的特徴を体系的に分析すること。
• 心理学、言語学、人間-コンピュータインタラクション分野の知見を活用し、人間化的兆候の低減を主張する根拠を構築すること。
• 不要な人間化的特徴を避けるべき設計フレームワークを提唱する規範的枠組みを提示すること。
• 公的誤解を是正するため、明示的な免責条項と人間化的でない言語をシステム説明に導入するよう提言すること。
• 開発者や研究者の言語が、技術的議論でさえも人間化的誤解を助長する役割を果たしていることの重要性を強調すること。
• 人間化的特徴を、倫理的に正当化され、明確に説明された状況でのみ使用する、文脈に応じた設計を提唱すること。

Figure 1: An example of the response of a dialogue system to user input that retains anthropomorphic features, and a de-anthropomorphised version, as envisaged by the authors.

実験結果

リサーチクエスチョン

• RQ1 会話システムの出力におけるどの言語的特徴が、ユーザーの人格化を最も強く誘発するか？
• RQ2 自己参照代名詞や共感的な言語は、システムを人間のように感じる認識にどのように寄与するか？
• RQ3 特に重要な状況下での対話において、AIシステムの人間化がもたらす心理的・社会的リスクは何か？
• RQ4 システムの説明（例：ドキュメンテーションやマスコミ報道）の仕方によって、一般大衆がその人間らしさをどの程度認識するようになるか？
• RQ5 開発者や研究者が、ユーザーの関与と人間化のリスクの間で、どのように倫理的にバランスを取るべきか？

主な発見

• システムの応答に自己参照代名詞や共感的な表現が使われると、ユーザーがそのシステムを人間のように感じる可能性が顕著に高まる。
• 開発者が明確に人間化を避けても、認知的デフォルトや人間経験への自動的マッピングの結果、ユーザーは依然としてシステムを人格化してしまう。
• AIシステムの技術的・公的説明において人間化的言語が使われると、実際の能力や限界についての一般大衆の混乱が広がる。
• 特に感情的や重要な状況下では、人間らしさと見なされる特徴があるため、ユーザーがシステムの出力に対して過剰に信頼するリスクが強い。
• 法的規制や倫理的ガイドラインが、AIシステムを非人間的であると明確に識別するよう求めていることから、誤解を招く人格化を避けるための意図的な設計選択の必要性が高まっている。
• 本論文は、現在のNLP研究における重要な空白を特定している——一部の研究では人間化を検出する試みがあるが、システム設計・開発・コミュニケーションの全範囲にわたる包括的な人間化低減フレームワークは存在しない。