[論文レビュー] MGpi: A Computational Model of Multiagent Group Perception and Interaction

Navyata Sanghvi, Ryo Yonetani+1 more|arXiv (Cornell University)|Mar 4, 2019

Human Pose and Action Recognition被引用数 5

ひとこと要約

MGpi は、身体的ジェスチャーと空間的接近度を用いた教師なし社会的信号ゲーティングを実行する Kinesic-Proxemic-Message (KPM) ゲートを通じて、グループの認識と相互作用をモデル化する深層学習モデルである。このモデルは、明示的なグループアノテーション、レイアウトの仮定、手作業で調整されたパラメータを一切用いずに、人間の相互作用の模倣による学習によって社会的注意を学習することで、グループ識別性能において最先端の結果を達成する。

ABSTRACT

Toward enabling next-generation robots capable of socially intelligent interaction with humans, we present a $\\mathbf{computational\\; model}$ of interactions in a social environment of multiple agents and multiple groups. The Multiagent Group Perception and Interaction (MGpi) network is a deep neural network that predicts the appropriate social action to execute in a group conversation (e.g., speak, listen, respond, leave), taking into account neighbors' observable features (e.g., location of people, gaze orientation, distraction, etc.). A central component of MGpi is the Kinesic-Proxemic-Message (KPM) gate, that performs social signal gating to extract important information from a group conversation. In particular, KPM gate filters incoming social cues from nearby agents by observing their body gestures (kinesics) and spatial behavior (proxemics). The MGpi network and its KPM gate are learned via imitation learning, using demonstrations from our designed $\\mathbf{social\\; interaction\\; simulator}$. Further, we demonstrate the efficacy of the KPM gate as a social attention mechanism, achieving state-of-the-art performance on the task of $\\mathbf{group\\; identification}$ without using explicit group annotations, layout assumptions, or manually chosen parameters.

研究の動機と目的

• 動的で複数のグループが存在する環境において、社会的に知的なロボット行動を可能にする、マルチエージェントのグループ認識と相互作用の計算モデルの開発。
• 身体的行動と空間的接近度に基づく学習可能な注目メカニズムを用いて、周囲のエージェントからの関連する社会的信号をフィルタリングする「社会的信号ゲーティング」の課題の解決。
• 明示的なグループアノテーション、空間的レイアウトの仮定（例：Fフォーメーション）や手作業で調整されたパラメータに依存せずに、グループ識別を可能にする。
• 独自の社会的相互作用シミュレータを用いて人間の会話行動のダイナミクスを模倣する、エージェント間の行動選択のためのアノテーションなしの教師あり学習によるエンドツーエンドのモデル訓練。
• 社会的認識、特にグループ検出が、社会的に適切な行動選択のための訓練から自然に生じることの実証。

提案手法

• MGpi は、社会的信号ゲーティングモジュール（KPM ゲートを備える）、過去の相互作用を処理する短期記憶（STM）エンコーダー、および行動予測のための相互作用ポリシー・モジュールからなる深層ニューラルネットワークである。
• KPM ゲートは、周囲のエージェントからの身体的（ジェスチャー）、空間的（距離）、言語的（メッセージ）な手がかりを統合することで、影響力の度合いを決定する。
• KPM ゲートは、動的な数の周囲エージェントを扱えるプーリング操作を用い、グループへのデータ駆動型のクラスタリング（教師なし）を可能にする。
• モデルは、グループ形成に明示的な教師信号を用いずに、独自の社会的相互作用シミュレータからのデモンストレーションを用いた模倣学習により訓練される。
• KPM ゲートは、ポリシー訓練中に発現する行動パターンに基づき、暗黙的にグループを識別する学習可能な社会的注目メカニズムとして機能する。
• アーキテクチャは分散型意思決定をサポートしており、各エージェントは認識された社会的信号と短期記憶に基づいて、行動（例：話す、聞く、返事する、去る）を選択する。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェント会話における社会的に適切な行動選択のための訓練を受ける深層学習モデルが、明示的なグループアノテーションなしに、社会的グループの識別を暗黙的に学習できるか。
• RQ2 KPM ゲートは、密集した複数グループ環境における関連する社会的信号をフィルタリングする社会的注目メカニズムとして、どれほど有効か。
• RQ3 ヒューリスティックなレイアウト仮定（例：Fフォーメーション）や手作業で調整されたパラメータに依存する手法よりも、データ駆動型の教師なしアプローチによるグループ検出が優れているか。
• RQ4 会話行動の模倣学習が、グループ識別のような社会的認識の「出現」をどれほど促進するか。
• RQ5 KPM ゲートは、レイアウト固有のチューニングや事前の空間的知識なしに、多様な現実世界のデータセットに一般化可能か。

主な発見

• KPM ゲートは、合成データ、コーヒーブレイク、カクテルパーティーの3つのデータセットにおいて、明示的なグループアノテーションやレイアウトの仮定を一切使用せずに、最先端のグループ識別性能を達成した。
• 合成データセットでは、MGpi はすべての指標ですべての最先端手法を顕著に上回り、優れた一般化性能とロバストネスを示した。
• コーヒーブレイクデータセットでは、MGpi は最高の精度（Precision）を達成し、F1スコアでも最高手法（GCFF）と同等の性能を示した。
• カクテルパーティーデータセットでは、F1スコアで GCFF や GRUPO にわずかに劣ったが、HVFF-ms よりも優れており、再現率（Recall）は同等であり、精度ではすべての手法を上回った。
• KPM ゲートの訓練プロセスは極めて安定しており、ランの間で標準偏差が小さく、推論は高速（数ミリ秒）で、リアルタイムデプロイメントに適している。
• モデルは、グループ検出が、グループ形成のための明示的教師信号なしに、社会的相互作用ポリシーのための訓練から自然に生じることを示した。これは、模倣学習が社会的知能に与える力の強さを強調している。