[論文レビュー] Probabilistic programs for inferring the goals of autonomous agents

Marco Cusumano-Towner, Alexey Radul+2 more|arXiv (Cornell University)|Apr 17, 2017

AI-based Problem Solving and Planning参考文献 14被引用数 8

ひとこと要約

本稿では、確率的プログラミングフレームワークを提案し、ランダム化ルートプランナアルゴリズムを生成モデルとして用いて自律エージェントの目的を推論する。尤度なしモンテカルロ推論技術—段階的再シミュレーションとニューラルネットワークによる尤度推定を用いたネストド推論—を導入することで、複雑な環境においても効率的かつスケーラブルな目的推論が可能となり、例ごとに50行未満のコードで実現可能である。

ABSTRACT

Intelligent systems sometimes need to infer the probable goals of people, cars, and robots, based on partial observations of their motion. This paper introduces a class of probabilistic programs for formulating and solving these problems. The formulation uses randomized path planning algorithms as the basis for probabilistic models of the process by which autonomous agents plan to achieve their goals. Because these path planning algorithms do not have tractable likelihood functions, new inference algorithms are needed. This paper proposes two Monte Carlo techniques for these "likelihood-free" models, one of which can use likelihood estimates from neural networks to accelerate inference. The paper demonstrates efficacy on three simple examples, each using under 50 lines of probabilistic code.

研究の動機と目的

• 現実世界の設定において、部分的な運動観測から未観測の目的を推論するという課題に取り組む。
• 従来の最適制御やMDPベースのアプローチの限界を克服する。これらの手法は、広範なタスク固有の設計作業を要し、スケーリングが困難である。
• エージェントをランダム化されたルートプランナを実行すると見なすことで、スケーラブルで柔軟な目的推論を実現する。これは、ブラックボックスコンponentとしてのエージェントを扱うことを意味する。
• 複雑でレガシーや最適化済みのルートプランナから生じる尤度が計算不能なモデルに対する効率的な推論アルゴリズムを開発する。
• 短い確率的プログラムが、人間の運動やマルチエージェント連携を含む多様なシナリオにおいて意味のある目的推論を達成できることを示す。

提案手法

• エージェント行動の生成プロセスとして、高速でランダム化されたルートプランナ（例：RRTベースのエージェントパス）を用い、複雑な環境の効率的探索を可能にする。
• 既存の最適化済みまたはレガシープランナをブラックボックス関数として扱い、確率的プログラミング言語に再実装する必要を回避する。
• 内部の確率的選択を同時に提案することで未知の尤度を相殺する、尤度なしMCMC手法である段階的再シミュレーションメトロポリス・ハスティングスを導入する。
• ニューラルネットワークによる尤度推定を用いたネストド推論を提案し、高度なモンテカルロ法や変分推論技術の利用を可能にする。
• ベーシック・プロブレム・プラットフォームを用いて階層的確率的プログラムを活用し、複雑な目的事前分布、部分観測可能な環境、マルチエージェント相互作用をモデル化する。
• 確率的プログラミング構文を活用して、最小限のコード量で多様な目的推論問題におけるモデリングと推論を統合する。

実験結果

リサーチクエスチョン

• RQ1 高速でランダム化されたルートプランナを生成モデルとして用いることで、確率的プログラムが目的志向行動を効果的にモデル化できるか？
• RQ2 ルートプランナの内部確率的選択が尤度が計算不能なモデルを生じる場合、どのように効率的な推論を実現できるか？
• RQ3 尤度なしモデルにおいて、ニューラルネットワークを用いて尤度を推定することで、推論を高速化できるか？
• RQ4 短い確率的プログラム（50行未満）が、現実世界のシナリオにおいてどれほど正確な目的推論を達成できるか？
• RQ5 自然な運動シーケンスにおいて、推論された目的共有確率は人間の判断とどの程度一致するか？

主な発見

• 段階的再シミュレーションMHアルゴリズムは、内部の確率的選択を同時に提案することで、尤度なしモデルにおける推論を成功裏に実行し、有効なMCMCサンプリングを可能にする。
• ニューラルネットワークによる尤度推定を用いたネストド推論により、高度な推論技術が活用可能となり、複雑なモデルにおける収束が著しく高速化される。
• 短い人間の運動シーケンスでは、共通の目的の確率が63%と推定され、シーケンスが延長されると82%に上昇する。これは、より多くのデータで信頼性が向上することを示している。
• 人間による目的共有の確率判断は、モデルの推論結果と定性的に一致しており、直感的な人間の推論と整合していることが示唆される。
• 本フレームワークは、単一エージェントナビゲーション、マルチエージェント連携、人間の運動の3つの異なるシナリオにおいて、それぞれ50行未満の確率的コードで効果的な目的推論を実現した。
• 本アプローチは複雑な環境へスケーリング可能であり、統一された確率的プログラミングインターフェースを通じて、階層的目的事前分布、部分観測可能な地図、マルチエージェント相互作用をサポートする。