[論文レビュー] A logical model of Theory of Mind for virtual agents in the context of job interview simulation

Marwen Belkaid, Nicolas Sabouret|arXiv (Cornell University)|Feb 20, 2014

Social Robot Interaction and HRI参考文献 31被引用数 8

ひとこと要約

本論文は、就職面接シミュレーションにおける仮想エージェントのための、理論理論とシミュレーション理論のパラダイムを統合したハイブリッド論理的モデルであるTheory of Mind（ToM）を提案する。モーダル論理とBDIベースの推論を用いて、非言語的サインからユーザーの心的状態、感情、社会的関係を推論する。評価では、ToMを搭載したレクルーターが、非ToMの対照群よりも顕著に高い感情的関与——特に恥ずかしさ、ストレス、集中力——を引き出すことが示された。これにより、モデルが自然で感情に応じた相互作用に与える影響が裏付けられた。

ABSTRACT

Job interview simulation with a virtual agents aims at improving people's social skills and supporting professional inclusion. In such simulators, the virtual agent must be capable of representing and reasoning about the user's mental state based on social cues that inform the system about his/her affects and social attitude. In this paper, we propose a formal model of Theory of Mind (ToM) for virtual agent in the context of human-agent interaction that focuses on the affective dimension. It relies on a hybrid ToM that combines the two major paradigms of the domain. Our framework is based on modal logic and inference rules about the mental states, emotions and social relations of both actors. Finally, we present preliminary results regarding the impact of such a model on natural interaction in the context of job interviews simulation.

研究の動機と目的

• 人間-エージェント相互作用における感情的推論を支援する、形式的かつドメインに依存しないTheory of Mind（ToM）モデルの開発。
• 理論理論とシミュレーション理論の両パラダイムを統合した、より現実的な心的状態推論を実現する1つの推論フレームワークの構築。
• ToMに基づく感情的推論が、就職面接シミュレーションのシナリオにおけるユーザーの感情的反応に与える影響の評価。
• ユーザーのサインに基づいて感情的に適応可能な仮想レクルーターを導入することで、NEETのための訓練効果の向上。
• ユーザーの心的状態に関する透明な推論を基盤とした、包括的で説明可能な面接後フィードバックの支援。

提案手法

• モデルはモーダル論理を用いて、エージェントおよびユーザーの信念、態度、目標、意図を形式的に表現し、心的状態の論理的推論を可能にする。
• 理論理論（心的状態に関するルールベースの常識的知識）とシミュレーション理論（エージェント自身の推論エンジンに状態を投影することで視点の取り替えを実現）を統合する。
• エージェントの推論を構造化し、推論された状態に基づく動的応答生成を支援するため、BDI（Belief-Desire-Intention）アーキテクチャを採用する。
• 感情はOCC評価理論を用いてモデル化され、ルールは論理形式で符号化されており、理論に依存しない柔軟性と、代替モデルへの適応性を確保する。
• 非言語的サイン（例：顔の表情、ジェスチャー）は信号処理を経て感情状態にマッピングされ、それらがToM推論エンジンに供給される。
• モデルは就職面接シミュレーションプラットフォームに実装されており、3つの異なるレクルーター・プロファイル（共感的：PROFILE_A、挑戦的：PROFILE_C、中立的：PROFILE_B）を備え、ToM使用の有無が異なる。

実験結果

リサーチクエスチョン

• RQ1 理論理論とシミュレーション理論を統合したハイブリッドToMモデルを、論理的推論とBDI推論を用いて形式化する方法は何か？
• RQ2 仮想レクルーターにおけるToMに基づく感情的推論が、就職面接シミュレーション中のユーザーの感情的反応にどの程度影響を及えるか？
• RQ3 ToM使用の有無が異なるレクルーター・プロファイルが、ユーザーが示す感情の強度と種類にどのように影響を与えるか？
• RQ4 論理ベースのToMモデルは、社会的スキルトレーニング用のシリアスゲームにおいて、信頼性があり、適応的かつ説明可能な相互作用を実現できるか？
• RQ5 感情フィードバックループは、仮想面接トレーニングにおけるユーザーの関与度と実在感の向上に果たす役割は何か？

主な発見

• PROFILE_A（包括的レクルーター）と対話した参加者は、PROFILE_B（中立的レクルーター）と比較して、全体的な感情的関与、恥ずかしさ、集中力のレベルが顕著に高く、p < 0.05であった。
• PROFILE_C（挑戦的レクルーター）と対話した参加者は、ストレスと不快感が顕著に高く、全体的な感情的関与と集中力のレベルも顕著に高く、p < 0.05またはp < 0.01であった。
• PROFILE_AとPROFILE_Cの間で恥ずかしさのレベルに有意差は認められず、これは一様なストレスではなく、異なる感情的プロファイルであることを示唆している。
• 本研究は、特に誘発された心的状態に関する推論を含むToMベースの行動が、ユーザーの感情的関与に測定可能な増加をもたらすことを確認した。
• モデルの説明可能機能により、包括的な面接後フィードバックが可能となり、コーチング価値とユーザーの学習効果が向上した。
• 現在のGUIは没入感に制限があるが、TARDISプラットフォームへの完全統合により、ToMの影響がさらに顕著に、信頼性と相互作用の質の向上に寄与すると示唆された。