[論文レビュー] Interpreting social cues to generate credible affective reactions of virtual job interviewers

Hazaël Jones, Nicolas Sabouret+5 more|arXiv (Cornell University)|Feb 20, 2014

Social Robot Interaction and HRI参考文献 36被引用数 12

ひとこと要約

本論文は、ジェスチャー、視線、姿勢などの社会的ヒントを社会的シグナル解釈（SSI）フレームワークを用いて解釈することで、仮想の求職者面接官が信頼性のある感情反応をリアルタイムで生成するためのパイプラインを提示している。システムはユーザーのコミュニケーションパフォーマンスを評価し、ユーザーの能力に関する信念を更新し、心の理論（ToM）にインspiredされたモデルを用いて適応的な感情反応を引き起こすことで、若年層の仮想面接トレーニングにおけるリアリズムを向上させている。

ABSTRACT

In this paper we describe a mechanism of generating credible affective reactions in a virtual recruiter during an interaction with a user. This is done using communicative performance computation based on the behaviours of the user as detected by a recognition module. The proposed software pipeline is part of the TARDIS system which aims to aid young job seekers in acquiring job interview related social skills. In this context, our system enables the virtual recruiter to realistically adapt and react to the user in real-time.

研究の動機と目的

• 若年層の失業問題とNEET層における社会的スキルの欠如に取り組むために、アクセス可能で、プライベートで、繰り返し可能なトレーニングを提供すること。
• 模擬面接中にユーザーの行動に信頼性があり動的に対応する仮想リクルーターの開発。
• 検出された非言語的社交的ヒントとパフォーマンス評価に基づいて、仮想リクルーターの感情状態をリアルタイムで適応させること。
• 心の理論の原則を用いてリクルーターの信念と感情反応をモデル化することで、シリアスゲームにおける参加意欲と学習効果を向上させること。

提案手法

• 動きのエネルギー、ジェスチャー、ポーズ、目の動き、生理的特徴などのリアルタイムの社交的ヒントを検出するために、SSI（社会的シグナル解釈）フレームワークを活用する。
• 検出されたヒントに基づいてパフォーマンス指数 $P_d$ を計算し、社会的期待に照らして反応を「肯定的（+1）」「中立（0）」「否定的（−1）」に分類する。
• ユーザーの能力に関する信念 $B_{\text{Human}}(\text{topic}_i)$ を更新するオンラインのユーザー・モデルを維持し、重み付きの式を用いる：$B_{\text{Human}}(\text{topic}_i) \leftarrow B_{\text{Human}}(\text{topic}_i) + \alpha \times P_d$。
• アルゴリズム2を用いて、エージェントの態度（肯定的または否定的）とユーザーのパフォーマンスに基づき、特定のトピックに対する意図を調整するための欲求 $D$ を生成する。
• 目的選択戦略（例：最大値を持つ欲求を選択）を適用し、会話の進行を導くとともに、会話の論理を保つ。
• 心の理論（ToM）の考え方に基づくアプローチを統合し、リクルーターがユーザーの好みや心の状態を推論できるようにすることで、より自然で文脈に即した反応を実現する。

実験結果

リサーチクエスチョン

• RQ1 模擬面接中に、仮想リクルーターはどのようにリアルタイムで信頼性のある感情反応を生成できるか？
• RQ2 会話以外の社交的ヒント（例：ジェスチャー、視線、姿勢）を用いて、リアルタイムでユーザーのコミュニケーションパフォーマンスをどの程度正確に評価できるか？
• RQ3 社交的シグナル解釈に基づく動的ユーザー・モデルは、仮想リクルーターのリアリズムと適応性をどの程度向上させられるか？
• RQ4 心の理論にインspiredされた信念と欲求システムは、仮想面接官の感情的かつ戦略的行動にどのような役割を果たすか？
• RQ5 非言語的行動から導かれるパフォーマンス指数に基づいて、感情反応を体系的に計算・更新する方法は何か？

主な発見

• 本システムは、ジェスチャー、視線、姿勢などの検出された社交的ヒントを用いて、仮想リクルーターがリアルタイムで感情反応を計算することに成功した。
• パフォーマンス指数 $P_d$ により、ユーザー行動を肯定的、中立的、否定的に定量的に分類でき、信念と欲求の更新の根拠となった。
• パrameter $\alpha$ を用いた重み付きの式により、信念の更新が動的に計算され、リクルーターの認識の速度と感受性を制御可能となった。
• 欲求の計算はエージェントの態度（肯定的または否定的）に基づいて適応され、感情反応が社会的期待と状況に整合するように保証された。
• ToMにインspiredされたモデルの統合により、仮想リクルーターはユーザーの好みを推論し、それに応じて行動を調整できるようになり、対話の信頼性が向上した。
• 本パイプラインは拡張性を備えており、表現力や生理的信号などの追加ヒントを今後統合することで、より頑健でリアルなシステムへと発展させる計画である。