[論文レビュー] Generating Long-term Trajectories Using Deep Hierarchical Networks

Stephan Zheng, Yisong Yue+1 more|arXiv (Cornell University)|Jun 21, 2017

Sports Analytics and Performance被引用数 72

ひとこと要約

この論文は、注意機構を備えた階層的ポリシーネットワークを提案し、マクロ目標とマイクロアクションを共同モデリングすることで、バスケットボールにおける現実的な長期軌道生成を可能にし、非階層ベースラインを上回ることを示します。マクロ目標を組み込むことで長期計画と短期アクション予測の双方が改善されることを示しています。

ABSTRACT

We study the problem of modeling spatiotemporal trajectories over long time horizons using expert demonstrations. For instance, in sports, agents often choose action sequences with long-term goals in mind, such as achieving a certain strategic position. Conventional policy learning approaches, such as those based on Markov decision processes, generally fail at learning cohesive long-term behavior in such high-dimensional state spaces, and are only effective when myopic modeling lead to the desired behavior. The key difficulty is that conventional approaches are "shallow" models that only learn a single state-action policy. We instead propose a hierarchical policy class that automatically reasons about both long-term and short-term goals, which we instantiate as a hierarchical neural network. We showcase our approach in a case study on learning to imitate demonstrated basketball trajectories, and show that it generates significantly more realistic trajectories compared to non-hierarchical baselines as judged by professional sports analysts.

研究の動機と目的

• 高次元の時空間設定における長期的な軌道モデリングの必要性を動機づける。
• マクロ目標とマイクロアクションを分離する階層的ポリシークラスを提案する。
• マクロ目標を案内役としてマイクロアクションを導く注意機構を備えた階層的ニューラルネットワークとしてポリシーを構成する。
• 専門家のバスケットボール軌道模倣データ上でアプローチを評価し、非階層ベースラインやグラウンドトゥルースと比較する。

提案手法

• マクロ目標 g とマイクロアクション a を時間を通して扱う二つのタイムスケールのポリシーフレームワークを定義する。
• 生のマイクロアクション u をモデル化し、非線形変換と合成関数（a = ψ(u, φ(g))）を用いてマクロ目標 g からマイクロアクション a を合成する。
• Hadamard product によるアテンション機構を実装し、マクロ目標の指針をマイクロアクション分布（P(a|u,g)）へ統合する（P(raw)(u) と P(macro)(g) を介して）。
• 状態空間と目標空間を離散化し、1-hot のコート占有表現と粗いマクロ目標を用いて計算的に扱いやすくする。
• マクロとマイクロのポリシーを畳み込みリカレントネットワークとして、マクロ目標に向けてマイクロアクションを案内する注意モジュールを組み込む。
• 階層的ネットワークを複数段階で訓練する（マイクロ、マクロ、注意）際に、マクロ目標には弱いラベルを用い、最終的にはエンドツーエンドでファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 階層的ポリシーがマクロ目標とマイクロアクションを分離することで、平坦なポリシーよりもより現実的な長期軌道を生成できるか。
• RQ2 マクロ目標とマイクロアクション間の注意ベースの相互作用は、長期計画と短期アクション予測の両方を改善するか。
• RQ3 現実の専門家軌道データに対して、モデルは非階層ベースラインおよびグラウンドトゥルースと比較してどのような性能を示すか。
• RQ4 弱いマクロ目標ラベルが訓練と rollout の質に与える影響はどの程度か。

主な発見

• 階層的ポリシーネットワーク（HPN）は、基準よりもマクロ目標へ向かう長距離のプランニングを伴う、現実的に曲線的な軌道を生成する。
• HPN-注意は、非階層ベースラインよりも4ステップ先行のテストでマイクロアクション予測精度を向上させる。
• 人間の専門家はほとんどの比較で HP N ロールアウトをベースラインより好み、HPN をグラウンドトゥルース軌道と競合するものとして評価する。
• プリトレーニング中に用いられた弱いマクロ目標ラベルは、短期予測精度の一部を犠牲にする代わりに長期的な rollout 質を向上させることができる。
• モデルは、マクロ目標が注意メカニズムを介してマイクロプランナーを導くことで解釈可能なダイナミクスを提供する。