[論文レビュー] A Cross-cultural Corpus of Annotated Verbal and Nonverbal Behaviors in Receptionist Encounters

Maxim Makatchev, Reid Simmons+1 more|arXiv (Cornell University)|Mar 11, 2012

Social Robot Interaction and HRI参考文献 17被引用数 4

ひとこと要約

本論文は、米国ピッツバーグおよびカタール・ドーハに所在するアメリカ英語およびアラビア語話者の母語話者から収集された自然的受付対応における非言語的行動の、初めての自由に利用可能なアノテート済みコーパスを提示する。このコーパスには、複数回のロールプレイセッションにわたる視線、ジェスチャー、顔の表情、身体の姿勢の手動アノテーションが含まれており、文化的な行動モデリングを通じて人間-ロボット対話の発展に貴重なリソースを提供する。

ABSTRACT

We present the first annotated corpus of nonverbal behaviors in receptionist interactions, and the first nonverbal corpus (excluding the original video and audio data) of service encounters freely available online. Native speakers of American English and Arabic participated in a naturalistic role play at reception desks of university buildings in Doha, Qatar and Pittsburgh, USA. Their manually annotated nonverbal behaviors include gaze direction, hand and head gestures, torso positions, and facial expressions. We discuss possible uses of the corpus and envision it to become a useful tool for the human-robot interaction community.

研究の動機と目的

• サービス対応、特に受付対応における非言語的行動のアノテート済みで自然的なコーパスの不足に対処すること。
• 文化的に異なる環境下でのロールプレイシミュレーションを通じて、高解像度のマルチモーダルデータ（言語的および非言語的）を収集・アノテートすること。
• 人間-ロボット対話および文化的なコミュニケーション分野における研究を支援する、公開可能な非言語的行動コーパスの構築。
• サービス対応における文化的要因、性別、個人差が非言語的行動に与える影響の研究を可能にすること。
• ロボットにおける行動の現実性および社会的サイン処理に関する仮説生成の基盤を提供すること。

提案手法

• 米国ピッツバーグおよびカタール・ドーハの大学受付デスクで、アメリカ英語およびアラビア語話者の母語話者を対象に自然的ロールプレイシミュレーションを実施。
• 22名の参加者から複数回の試行において動画データを収集し、人口統計、パーソナリティ（TIPI）、感情（PANAS）のアンケートを実施。
• 言語的発話、視線の向き、顔の表情、頭部および手のジェスチャー、胴体の向きをラベル付けするためのカスタムマルチトラックアノテーション方式を採用。
• マルチモーダル行動の時間的に同期されたラベル付けを可能にするために、Advene動画アノテーションツールを適用。
• 会話のターンチェンジ、注意の管理、社会的信号伝達といった実用的機能を焦点に、非言語的行動をアノテート。
• 特に視線の固定や笑顔の種類といった主観的側面の信頼性を確保するため、第二アノテーターによる検証を計画。

実験結果

リサーチクエスチョン

• RQ1 文化的に異なる受付対応において、受付担当者と訪問者という役割の違いが視線行動にどのように影響するか？
• RQ2 会話におけるターンチェンジや接続イベントに関連する非言語的行動（例：うなずきやちらりと目をやること）は何か？
• RQ3 文化的背景（例：アメリカ英語対アラビア語）および性別が、サービス対応における非言語的行動パターンにどのように影響を与えるか？
• RQ4 パーソナリティや感情の個人差が、受付対応における非言語的表現にどの程度影響を与えるか？
• RQ5 連動的笑顔や方向を示す指差しなどの非言語的行動は、信頼性を持ってアノテート可能であり、ユーザー満足度や関与度の予測に利用可能か？

主な発見

• 訪問者役の参加者が受付担当者役の参加者よりも高い頻度で相互視線を示しており、役割のダイナミクスに伴い注意の焦点が変化している可能性を示唆している。
• 受付担当者S12（アメリカ英語話者）は、訪問者のバックチャンネルの前には短い、断続的な視線を向ける傾向を示しており、視線を用いてターンチェンジの調整を行っている可能性がある。
• 受付担当者S4（アラビア語話者）は、方向指示のシーケンス終了まで相互視線を延期しており、S12とは対照的な行動パターンを示している。
• このコーパスは、文化的および個人のスタイルに起因する明確な非言語的行動パターンを捉えている。例えば、うなずきの頻度や視線の持続時間の違いが顕在化している。
• アノテーション方式は、会話相手、方向、環境への視線の移動といった複雑なマルチモーダル行動を十分な粒度で捉えることに成功しており、行動分析に適した詳細さを有している。
• このコーパスは、オリジナルの動画／音声を除く、初めての自由に利用可能なサービス対応における非言語的行動コーパスであり、受付対応における非言語的行動のアノテート済みコーパスとしても初めてである。