[論文レビュー] Scalable Planning with Tensorflow for Hybrid Nonlinear Domains

Ga Wu, Buser Say+1 more|arXiv (Cornell University)|Apr 25, 2017

Machine Learning and Algorithms参考文献 12被引用数 13

ひとこと要約

本稿では、高次元連続的行動空間を有するハイブリッド非線形ドメインにおけるスケーラブルでGPUアクセラレートされた計画に、TensorFlowとRMSProp勾配降下法を用いる手法を提案する。この手法は、区分線形ドメインでは近似的最適性能を達成し、非線形ドメインでは内点法を上回ることを示している。大規模な並列計画問題において、576,000の行動を含む強力な計画に4分未満で収束する。

ABSTRACT

Given recent deep learning results that demonstrate the ability to effectively optimize high-dimensional non-convex functions with gradient descent optimization on GPUs, we ask in this paper whether symbolic gradient optimization tools such as Tensorflow can be effective for planning in hybrid (mixed discrete and continuous) nonlinear domains with high dimensional state and action spaces? To this end, we demonstrate that hybrid planning with Tensorflow and RMSProp gradient descent is competitive with mixed integer linear program (MILP) based optimization on piecewise linear planning domains (where we can compute optimal solutions) and substantially outperforms state-of-the-art interior point methods for nonlinear planning domains. Furthermore, we remark that Tensorflow is highly scalable, converging to a strong plan on a large-scale concurrent domain with a total of 576,000 continuous action parameters distributed over a horizon of 96 time steps and 100 parallel instances in only 4 minutes. We provide a number of insights that clarify such strong performance including observations that despite long horizons, RMSProp avoids both the vanishing and exploding gradient problems. Together these results suggest a new frontier for highly scalable planning in nonlinear hybrid domains by leveraging GPUs and the power of recent advances in gradient descent with highly optimized toolkits like Tensorflow.

研究の動機と目的

• シンボリック勾配最適化ツール（例：TensorFlow）が、高次元の状態および行動空間を有するハイブリッド（離散的・連続的）非線形ドメインにおける計画に有効に機能するかどうかを調査すること。
• HVAC、貯水池制御、ナビゲーションなどの複雑で現実世界のドメインにおける、TensorFlowベースの勾配降下法のスケーラビリティとパフォーマンスを評価すること。
• RMSPropが、非線形ハイブリッドドメインにおける長い計画ホライズンにおいて、勾配消失および勾配爆発問題を効果的に回避できるかどうかを検証すること。
• 解の質と計算時間の観点から、MILPベースのソルバーや内点法といった最先端の計画手法と比較して、提案手法の性能を評価すること。
• 非凸的で高次元のドメインにおけるシンボリック計画に、ディープラーニング最適化ツールキットを実用的に応用可能かどうかを検討すること。

提案手法

• 本稿では、ハイブリッド非線形計画問題をTensorFlowを用いて微分可能計算グラフにコンパイルし、時間方向に一貫したバックプロパゲーションを可能にする。
• 計画の目的関数を、連続的行動および状態の上での微分可能コスト関数として定式化し、非線形遷移関数および報酬関数を記号的表現として符号化する。
• RMSPropを最適化アルゴリズムとして用い、自動微分とGPUアクセラレーションを活用してコスト関数を勾配降下により最小化する。
• 複数の計画インスタンスを並列にバッチ処理できるため、スケーラビリティが著しく向上する。
• 評価は、複雑度と行動空間次元が増加するナビゲーション、貯水池制御、HVACの3つのドメインで実施する。
• 収束速度と解の質のバランスを図るため、学習率と最適化手法の選択に関するハイパーパramータチューニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 TensorFlowベースの勾配降下法にRMSPropを組み合わせた手法は、区分線形ハイブリッド計画ドメインにおいて、最適なMILP解と比較して競争力のある性能を発揮できるか？
• RQ2 高次元連続的行動空間を有する非線形ハイブリッド計画ドメインにおいて、本手法は従来の内点法を上回る性能を示せるか？
• RQ3 RMSPropは、非線形ハイブリッドドメインにおける長い計画ホライズンにおいて、勾配消失および勾配爆発問題を効果的に回避できるか？
• RQ4 本手法は、数10万の連続的行動パラメータを有する大規模な並列計画問題にどのようにスケーリングできるか？
• RQ5 ハイブリッド非線形計画において、学習率と最適化手法の選択が収束速度および最終的な解の質に与える影響は何か？

主な発見

• TensorFlowにRMSPropを組み合わせた手法は、区分線形ドメインにおいて最適なMILP解と同等の性能を達成しており、非凸関数に対しても近似的最適性を示している。
• 非線形ドメインでは、MATLABのfmincon内点法ソルバーよりも著しく優れた性能を発揮し、数百倍も短い時間で同等またはより良い解に到達している。
• GPU上で100の並列インスタンスと96ステップの時間スパンにおいて、576,000の連続的行動パラメータを有する強力な計画に4分未満で収束した。
• 実験では、安定的かつ進行的な収束が観察されたことから、RMSPropが長いホライズンにおいて勾配消失および勾配爆発問題を効果的に回避していることが裏付けられた。
• HVACドメインにおける最適な学習率は0.01であった。これは、高速な収束と高い解の質の両立を可能にした。一方、0.001のような低い学習率は実用的であるほどに収束が遅すぎた。
• 標準的な最適化手法の中では、RMSPropが最も速い収束と最高のパフォーマンスを示した。AdagradやAdadeltaは勾配消失の問題に苦しんでおり、性能が劣っていた。