[論文レビュー] Detection of social signals for recognizing engagement in human-robot interaction

Divesh Lala, Koji Inoue+2 more|arXiv (Cornell University)|Sep 29, 2017

Social Robot Interaction and HRI参考文献 25被引用数 10

ひとこと要約

本論文では、Kinectとマイクアレイのデータを用いて、うなずき、笑い、発話の受容的反応、視線をリアルタイムで検出するシステムを提案し、人間-ロボット対話におけるユーザーの関与度を認識する。自動的に検出された信号を用いて、関与度認識の性能が妥当に達成された（文脈ありでAUC = 0.620）。これは、ERICAのようなロボットにおける関与度に配慮した対話戦略を支援するため、低レベルの信号検出を統合することが有効であることを示している。

ABSTRACT

Detection of engagement during a conversation is an important function of human-robot interaction. The level of user engagement can influence the dialogue strategy of the robot. Our motivation in this work is to detect several behaviors which will be used as social signal inputs for a real-time engagement recognition model. These behaviors are nodding, laughter, verbal backchannels and eye gaze. We describe models of these behaviors which have been learned from a large corpus of human-robot interactions with the android robot ERICA. Input data to the models comes from a Kinect sensor and a microphone array. Using our engagement recognition model, we can achieve reasonable performance using the inputs from automatic social signal detection, compared to using manual annotation as input.

研究の動機と目的

• 人間-ロボット対話におけるユーザーの関与度を示す重要な社会的信号をリアルタイムで検出するモデルの開発。
• これらの信号検出モデルをロボットシステム（ERICA）に統合し、関与度に配慮した対話戦略を支援すること。
• 自動的に検出された社会的信号が、関与度認識において手動アノテーションの代替として十分に機能するかを評価すること。
• 前回の会話の関与度といった文脈的情報が、関与度認識性能に与える影響を評価すること。

提案手法

• AndroidロボットERICAを用いて91件の対話セッションのコーパスを収集し、Kinectとマイクアレイを用いて視覚的・音声的情報を記録した。
• 第三者の観察者によるアノテーションデータを用いて機械学習により、うなずき、笑い、発話の受容的反応、視線の各検出モデルを個別に訓練した。
• 主観的なアノテーション差を補正するため、潜在的な観察者特性を組み込んだ階層ベイジアンモデルを用いて関与度を推定した。
• 受信者操作特性曲線下の面積（AUC）を用いて、手動アノテーションと検出信号の2つの入力条件における関与度認識性能を評価した。
• ロボットの前回の会話の関与度を示す文脈特徴を含む・含まないでモデル性能を比較した。
• すべての信号検出モデルをERICAのアーキテクチャに統合し、自然な会話におけるリアルタイムでのデプロイを実現した。

実験結果

リサーチクエスチョン

• RQ1 人間-ロボット対話において、うなずき、笑い、発話の受容的反応、視線といった社会的信号のうち、ユーザーの関与度を最も効果的に予測するのはどれか？
• RQ2 これらの信号を自動的に検出することは、リアルタイムでの信頼性の高い関与度認識を実現するために十分な精度に達するか？
• RQ3 自動検出信号を入力として用いた場合と、手動アノテーションを入力とした場合の関与度認識性能は、どのように比較できるか？
• RQ4 前回の会話の関与度といった文脈的情報を組み込むことで、関与度認識性能はどの程度向上するか？
• RQ5 個々の信号検出モデルが、集約的に全体の関与度認識性能にどの程度寄与しているか？

主な発見

• 手動アノテーションを入力とし、文脈的情報を組み込んだ場合、関与度認識モデルはAUC 0.669を達成し、強力なベースラインを示した。
• 検出信号を入力とした場合、文脈特徴を用いることでAUC 0.620を達成し、性能の低下が見られたものの、自動検出が実用可能であることが示された。
• 手動アノテーションから検出信号への性能低下は限定的であり、信号検出の統合が関与度認識に有効であることを示している。
• 受容的反応の検出性能は、笑いの検出性能よりも顕著に優れており、笑いの検出は低い認識性能を示した。
• 文脈的情報を追加することで、手動アノテーションと検出ベースの両設定で性能が向上し、時間的モデリングの価値が浮き彫りになった。
• 個々のモデルの限界はあったが、検出信号のアンサンブルは、関与度認識に十分な入力を提供し、リアルタイムでのデプロイを支援した。