[論文レビュー] Policy learning with partial observation and mechanical constraints for multi-person modeling

Keisuke Fujii, Naoya Takeishi+2 more|arXiv (Cornell University)|Jul 7, 2020

Reinforcement Learning in Robotics参考文献 60被引用数 8

ひとこと要約

本稿では、部分観測と力学的制約を段階的生成モデルに統合した分散型マルチエージェント模倣学習フレームワークを提案する。Gumbel-Softmax再パrameterizationと階層的変分RNNを組み合わせることで、解釈可能な行動生成とエージェント固有の情報使用の可視化を可能とし、バスケットボールおよびサッカーの運動データセットにおいて、より生物学的に妥当な行動を実現する。

ABSTRACT

Extracting the rules of real-world biological multi-agent behaviors is a current challenge in various scientific and engineering fields. Biological agents generally have limited observation and mechanical constraints; however, most of the conventional data-driven models ignore such assumptions, resulting in lack of biological plausibility and model interpretability for behavioral analyses in biological and cognitive science. Here we propose sequential generative models with partial observation and mechanical constraints, which can visualize whose information the agents utilize and can generate biologically plausible actions. We formulate this as a decentralized multi-agent imitation learning problem, leveraging binary partial observation models with a Gumbel-Softmax reparameterization and policy models based on hierarchical variational recurrent neural networks with physical and biomechanical constraints. We investigate the empirical performances using real-world multi-person motion datasets from basketball and soccer games.

研究の動機と目的

• 従来のデータ駆動型マルチエージェントモデルにおける生物学的妥当性と解釈可能性の欠如に対処すること。
• 生物学的および認知的システムに見られるように、限られた観測と力学的制約下での現実世界のマルチエージェント行動をモデリングすること。
• 意思決定過程でエージェントがどの情報を使用しているかを捉える分散型模倣学習アプローチを開発すること。
• 物理的および力学的制約に従った現実的な動きを維持しながら、観測された行動と整合性を持つ行動を生成すること。
• マルチピerson間相互作用におけるエージェント固有の情報利用を可視化することで、モデルの解釈可能性を向上させること。

提案手法

• 部分観測および力学的制約下における分散型マルチエージェント模倣学習として問題を定式化する。
• Gumbel-Softmax再パラメータ化を用いて、エージェント固有の情報アクセスをモデル化する二値部分観測モデルを採用する。
• 階層的変分再帰ニューラルネットワーク（HVRNN）を用いて、構造的かつ時間的に整合性のある方策を学習する。
• 物理的および力学的制約を方策ネットワークに統合し、現実的な運動生成を保証する。
• 観測された軌跡と潜在変数に条件付けた段階的生成モデリングフレームワークを統合する。
• 注目メカニズムと潜在空間解析を通じて、エージェント固有の情報利用の可視化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 部分観測を、現実世界のエージェントの制限を反映させるために、マルチエージェント模倣学習で効果的にモデル化する方法は何か？
• RQ2 力学的および物理的制約を組み込むことで、生成された行動の生物学的妥当性はどの程度向上するか？
• RQ3 モデルは意思決定過程で各エージェントが使用する情報源を特定し、可視化できるか？
• RQ4 階層的変分RNNの統合は、観測および制約の制限下での方策学習をどのように向上させるか？
• RQ5 本手法は、実世界のスポーツ運動データセットにおいて、現実的で解釈可能なマルチピerson行動をどの程度生成できるか？

主な発見

• 方策学習中に力学的および物理的制約を強制することで、生物学的に妥当な行動の生成に成功した。
• Gumbel-Softmax再パラメータ化の使用により、離散的注目を用いた部分観測の効果的モデル化が可能になった。
• 階層的変分RNNは、マルチエージェント環境における時間的整合性と方策一般化を向上させた。
• 本フレームワークはエージェント固有の情報利用の可視化を可能とし、モデルの解釈性を向上させた。
• バスケットボールおよびサッカーのデータセットにおける実験結果から、制約なしのベースラインモデルと比較して、行動の生物学的妥当性が向上した。
• 限られた観測と物理的制約下でも、本モデルは現実的なマルチピerson相互作用の生成において頑健であることが示された。