[論文レビュー] Long-term Planning by Short-term Prediction

|arXiv (Cornell University)|Feb 4, 2016

Adversarial Robustness in Machine Learning参考文献 26被引用数 39

ひとこと要約

本稿では、異なる微分可能な短期予測モデルと再帰的ニューラルネットワーク（RNN）を用いて、自律走行における長期的計画を実現する二段階アプローチを提案する。計画を微分可能予測器と系列モデルの上での教師あり学習として定式化することにより、敵対的で連続的かつマルチエージェントな環境においても、堅牢な方策学習が可能になる。

ABSTRACT

We consider planning problems, that often arise in autonomous driving applications, in which an agent should decide on immediate actions so as to optimize a long term objective. For example, when a car tries to merge in a roundabout it should decide on an immediate acceleration/braking command, while the long term effect of the command is the success/failure of the merge. Such problems are characterized by continuous state and action spaces, and by interaction with multiple agents, whose behavior can be adversarial. We argue that dual versions of the MDP framework (that depend on the value function and the $Q$ function) are problematic for autonomous driving applications due to the non Markovian of the natural state space representation, and due to the continuous state and action spaces. We propose to tackle the planning task by decomposing the problem into two phases: First, we apply supervised learning for predicting the near future based on the present. We require that the predictor will be differentiable with respect to the representation of the present. Second, we model a full trajectory of the agent using a recurrent neural network, where unexplained factors are modeled as (additive) input nodes. This allows us to solve the long-term planning problem using supervised learning techniques and direct optimization over the recurrent neural network. Our approach enables us to learn robust policies by incorporating adversarial elements to the environment.

研究の動機と目的

• 連続的状態空間と行動空間を有する自律走行における長期的計画を扱う。
• 非マルコフ的状態表現による従来のMDPフレームワークの制限を克服する。
• マルチエージェントで敵対的な環境においても、堅牢な方策学習を可能にする。
• 複雑な計画を、教師あり学習と再帰的系列モデル上の直接最適化に分解する。

提案手法

• 現在の観測から近い将来の状態を予測するための微分可能予測器を学習する。
• 予測器を微分可能コンポonentとして再帰的ニューラルネットワーク（RNN）に組み込み、エージェントの全軌道をモデリングする。
• RNNに不確実性や敵対的行動をモデル化するための加法的入力ノードを組み込む。
• 教師あり学習の目的関数を用いて、エンドツーエンドの訓練により全システムを最適化する。
• 訓練中に環境に敵対的要因を統合し、方策の堅牢性を向上させる。
• タイムスケールを遡及してバックプロパゲーションを可能にするため、時間遡及のバックプロパゲーションを活用して長時間スケールの政策を直接最適化する。

実験結果

リサーチクエスチョン

• RQ1 連続的かつマルチエージェントな環境において、短期予測モデルを用いて長期的計画を実現できるか？
• RQ2 計画タスクにおいて、非マルコフ的状態表現を効果的に扱う方法は何か？
• RQ3 微分可能予測とRNNベースの軌道モデリングは、自律走行における従来のMDPベースの計画を上回る性能を発揮できるか？
• RQ4 敵対的訓練は、計画システムにおける方策の堅牢性をどの程度向上できるか？
• RQ5 微分可能RNNアーキテクチャ上でエンドツーエンド最適化を実施することで、効果的な長時間スケール制御が達成できるか？

主な発見

• 提案手法は、連続的状態空間と行動空間を有する環境における長期的計画を効果的に処理できた。
• 微分可能な短期予測により、長時間スケール最適化のための効果的な時間遡及バックプロパゲーションが可能になった。
• 訓練中に敵対的要因を統合することで、方策の堅牢性が向上した。
• RNNベースの軌道モデルは、加法的入力ノードを介して未解釈要因を効果的に捉えた。
• 予測と計画の分離により、二重MDPフレームワークの制限を回避できた。
• 教師あり学習技術を用いたエンドツーエンド訓練により、安定的かつ汎用性の高い方策が得られた。