[論文レビュー] Generating Multi-Agent Trajectories using Programmatic Weak Supervision

Eric Zhan, Stephan Zheng+3 more|arXiv (Cornell University)|Mar 20, 2018

Sports Analytics and Performance参考文献 44被引用数 37

ひとこと要約

本稿では、プログラムによる弱教師付き学習を用いて、協調的で解釈可能かつ操作可能なマクロ目的（macro-intents）を学習する階層的生成モデルフレームワークを提案する。バスケットボールにおけるチーム編成や合成Boidsモデルにおける集団形成／回避行動といった高レベルの行動に対して、ドメイン固有のラベル関数を適用して弱いラベルを抽出することで、従来手法に比べてマルチモーダルで協調的な行動をより正確に捉えた長期予測が可能になる。

ABSTRACT

We study the problem of training sequential generative models for capturing coordinated multi-agent trajectory behavior, such as offensive basketball gameplay. When modeling such settings, it is often beneficial to design hierarchical models that can capture long-term coordination using intermediate variables. Furthermore, these intermediate variables should capture interesting high-level behavioral semantics in an interpretable and manipulatable way. We present a hierarchical framework that can effectively learn such sequential generative models. Our approach is inspired by recent work on leveraging programmatically produced weak labels, which we extend to the spatiotemporal regime. In addition to synthetic settings, we show how to instantiate our framework to effectively model complex interactions between basketball players and generate realistic multi-agent trajectories of basketball gameplay over long time periods. We validate our approach using both quantitative and qualitative evaluations, including a user study comparison conducted with professional sports analysts.

研究の動機と目的

• 長期的な依存関係を有する順序付き設定において、複雑で協調的かつマルチモーダルな多エージェント行動をモデル化する課題に取り組む。
• チーム戦略やエージェントの協調パターンといった高レベルの行動意味を表す解釈可能で操作可能な中間変数（マクロ目的）を用いる階層的生成モデルを構築する。
• 順序付き設定において非教師付き脱同定化手法に課題があるのを克服するため、弱教師付きでプログラム可能なラベル関数を用いてマクロ目的表現を学習する。
• マクロ目的を意味のあるドメイン固有の行動に根拠づけることで、条件付き生成と行動の操作を可能にする。
• 本フレームワークを合成Boidsに類似したシステムと実世界のバスケットボール追跡データの両方で検証し、標準的なベースラインに比べて優れた性能を示す。

提案手法

• マクロ目的をRNNを用いて潜在変数としてモデル化し、高レベル行動の時間的ダイナミクスを捉える階層的生成モデルを設計する。
• ドメイン固有のヒューリスティクスに基づいて弱くノイズの多いラベルを生成するプログラム可能なラベル関数を定義する—例：Boidsでは凝集係数の符号、バスケットボールデータでは空間的クラスタリング。
• これらの弱いラベル上で教師あり学習を用いてエンドツーエンドにモデルを訓練し、解釈可能で操作可能な中間表現を学習可能にする。
• 学習済みマクロ目的に条件づけられたエージェント軌道を生成するため、VAEやノーマライジングフローなどの深層生成モデルと統合する。
• 2段階の訓練プロセスを採用する：まず弱いラベルを用いてマクロ目的RNNを訓練し、次に変分推論の目的関数を用いて軌道生成器とマクロ目的モデルを同時に訓練する。
• 時空間ドメインにデータプログラミングの原則を適用し、完全にアノテートされたデータセットを必要とせずに、スケーラブルで柔軟な弱教師付き学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 プログラムによる弱教師付き学習を時空間ドメインに効果的に拡張し、多エージェント軌道生成のための解釈可能なマクロ目的を学習できるか？
• RQ2 弱いラベルで訓練された階層的生成モデルは、標準的な深層生成モデルに比べて長期的な協調行動とマルチモーダル行動をよりよく捉えられるか？
• RQ3 弱教師付きマクロ目的は、非教師付き脱同定化に比べて、生成された多エージェント軌道の品質と解釈可能性をどの程度向上させるか？
• RQ4 本フレームワークは、合成エージェントシステムと実世界のスポーツデータといった異なるドメインにどの程度一般化できるか？
• RQ5 学習されたマクロ目的は、意味的に操作可能であり、たとえばバスケットボールの攻撃的戦術のような特定の協調的行動を生成できるか？

主な発見

• プログラムによる弱教師付き学習を用いた階層的モデルは、合成Boidsの軌道の真の生成分布を、特に友好（凝集的）と敵対的（散逸的）な行動を区別する点で、標準的なベースラインを著しく上回る。
• モデルは平均最近傍距離の2つの明確なモード（集団形成と回避行動）を生成する能力を有しており、ベースラインはこれらのモードを区別できない。
• バスケットボールの軌道生成において、モデルはプロのスポーツアナリストによるユーザースタディで顕著に高い評価を得た現実的で協調的なプレーを生成した。
• 弱教師付きで学習されたマクロ目的表現は解釈可能であり、条件付き生成が可能である：マクロ目的を変化させることで、意味的に異なる行動を示す軌道のロールアウトが得られる。
• 相互情報量最大化（例：VRAE-mi）で訓練されたモデルは、有用なマクロ目的を学習できず、多様性が低く性能も劣るため、構造的弱教師付き学習の重要性が浮き彫りになる。
• 本フレームワークは単純なラベル関数に対しても頑健である：たとえば凝集係数の符号といった基本的なヒューリスティクスですら、高品質で解釈可能なマクロ目的を生成し、真の行動意味と整合性を持つ。