[論文レビュー] Speech Dialogue with Facial Displays: Multimodal Human-Computer Conversation

Katashi Nagao, Akikazu Takeuchi|ArXiv.org|Jun 1, 1994

Social Robot Interaction and HRI被引用数 8

ひとこと要約

本論文は、会話と顔のアニメーションを統合することで、人間とコンピュータの対話をより自然にするマルチモーダルな人間-コンピュータ対話システムを提案する。顔の表情を独立した通信チャネルとしてモデル化することで、特に初期対話において、ユーザーの関与度と理解度が向上し、初期段階での顔の表情の使用が、その後の対話品質と自然さの認識を顕著に向上させることを示している。

ABSTRACT

Human face-to-face conversation is an ideal model for human-computer dialogue. One of the major features of face-to-face communication is its multiplicity of communication channels that act on multiple modalities. To realize a natural multimodal dialogue, it is necessary to study how humans perceive information and determine the information to which humans are sensitive. A face is an independent communication channel that conveys emotional and conversational signals, encoded as facial expressions. We have developed an experimental system that integrates speech dialogue and facial animation, to investigate the effect of introducing communicative facial expressions as a new modality in human-computer conversation. Our experiments have shown that facial expressions are helpful, especially upon first contact with the system. We have also discovered that featuring facial expressions at an early stage improves subsequent interaction.

研究の動機と目的

• 顔の表情をマルチモーダルなチャネルとして用いることで、人間-コンピュータ対話の認識と対話品質に与える影響を調査すること。
• 人間同士の会話の様式をテンプレートとして用い、より自然な人間-コンピュータ対話の設計を図ること。
• 対話の初期段階で顔の表情を導入することで、ユーザーの関与度とシステムの使いやすさが向上するかどうかを検証すること。
• 会話と動的な顔のアニメーションを同期させる、表現豊かな対話が可能なプロトタイプシステムの開発と評価を行うこと。

提案手法

• システムは、事前に定義された顔の表情モデルを用いて、会話対話とリアルタイムでの顔のアニメーションを統合する。
• 顔の表情は会話の文脈と感情的サインに基づいて生成され、独立した通信チャネルとして機能する。
• 対話状態から特定の顔の表情にマッピングするルールベースのアプローチを用いてシステムを実装した。
• ユーザーの対話は音声入力で行われ、システムは音声と同期した顔のアニメーションで応答した。
• 制御されたユーザー試験を通じて、マルチモーダルインターフェースの認識と使いやすさを評価した。
• リアルタイムでインタラクティブな環境下でシステムを評価し、ユーザー反応と対話品質を測定した。

実験結果

リサーチクエスチョン

• RQ1 顔の表情は、人間-コンピュータ対話における自然さの認識にどのように影響を与えるか？
• RQ2 顔の表情の有無が、特にシステムとの初回対話時におけるユーザーの関与度を向上させるか？
• RQ3 顔の表情は、マルチモーダル対話システムにおける有効な独立モダリティとして機能できるか？
• RQ4 顔の表情は、人間-コンピュータ対話における理解度と信頼感の向上にどの程度寄与するか？
• RQ5 顔の表情を早期に導入することで、長期的な対話品質にどのような影響が生じるか？

主な発見

• 顔の表情の導入により、特に初回接触時において、ユーザーがシステムをより自然で魅力的だと感じやすくなった。
• 顔の表情が初期段階から存在した場合、ユーザーは信頼感と応答性の高さを強く感じた。
• 顔の表情の統合により、その後の対話で滑らかで直感的な進行が実現された。
• システムは、顔の表情が言語的コミュニケーションを補完・強化する有効な非言語的シグナルとして機能することを示した。
• 顔の表情を早期に導入することで、ユーザー満足度と対話のなめらかさが明確に向上した。