[論文レビュー] Path Integral Networks: End-to-End Differentiable Optimal Control

Masashi Okada, Luca Rigazio+1 more|arXiv (Cornell University)|Jun 29, 2017

Neural Networks Stability and Synchronization参考文献 30被引用数 41

ひとこと要約

この論文は、経路積分最適制御アルゴリズムを実装する、完全に微分可能でエンドツーエンドで学習可能な再帰的ニューラルネットワークであるパス積分ネットワーク（PI-Net）を紹介する。バックプロパゲーションを通じてシステムのダイナミクスとコストモデルを同時に学習することにより、PI-Netは連続制御タスクにおける計画ベースの制御を可能にし、線形および振り子系の模倣学習ベンチマークで優れた汎化性能と性能を達成した。

ABSTRACT

In this paper, we introduce Path Integral Networks (PI-Net), a recurrent network representation of the Path Integral optimal control algorithm. The network includes both system dynamics and cost models, used for optimal control based planning. PI-Net is fully differentiable, learning both dynamics and cost models end-to-end by back-propagation and stochastic gradient descent. Because of this, PI-Net can learn to plan. PI-Net has several advantages: it can generalize to unseen states thanks to planning, it can be applied to continuous control tasks, and it allows for a wide variety learning schemes, including imitation and reinforcement learning. Preliminary experiment results show that PI-Net, trained by imitation learning, can mimic control demonstrations for two simulated problems; a linear system and a pendulum swing-up problem. We also show that PI-Net is able to learn dynamics and cost models latent in the demonstrations.

研究の動機と目的

• 計画能力に欠け、未観測状態への汎化能力に劣る反応型の深層強化学習方策の限界を克服すること。
• 最適制御における正確なシステムダイナミクスとコスト関数を手動で指定する課題を、デモンストレーションからそれらを学習することで克服すること。
• バックプロパゲーションと確率的勾配降下法を用いて、ダイナミクスモデルとコストモデルの両方をエンドツーエンドで学習可能にすること。
• 微分可能な最適制御フレームワークが、連続制御における汎化性能と計画能力の向上を図るためにディープラーニングに統合可能であることを示すこと。
• 統一された微分可能なアーキテクチャを用いて、エキスパートのデモンストレーションから潜在的なダイナミクスとコスト関数を学習する可能性を検討すること。

提案手法

• 経路積分最適制御アルゴリズムを再帰的ニューラルネットワーク（PI-Net）として表現し、すべてのコンponentsで微分可能にすること。
• システムダイナミクスとコストモデルを1つの微分可能なアーキテクチャに統合し、両方を同時にエンドツーエンドで学習可能にすること。
• 確率的勾配降下法とバックプロパゲーションを用いてネットワークパラメータを最適化し、軌道コストに基づく制御損失を最小化すること。
• 経路積分更新則（式3）を微分可能形で適用し、軌道サンプリングを繰り返し行い、制御シーケンスを段階的に改善すること。
• 予測軌道とエキスパート軌道、およびコストの差を最小化することで、模倣学習を用いてネットワークを訓練すること。
• 連続制御タスクにおける比較のため、局所接続型ネットワーク（LCN）と畳み込みニューラルネットワーク（CNN）をベースラインとして採用すること。

実験結果

リサーチクエスチョン

• RQ1 反応型方策と比較して、最適制御の微分可能なニューラルネットワーク表現が、連続制御タスクにおける汎化性能を向上させられるか。
• RQ2 事前知識なしに、エキスパートデモンストレーションから正確なシステムダイナミクスとコスト関数をどれだけ正確に学習できるか。
• RQ3 ダイナミクスとコストモデルのエンドツーエンド学習が、性能とモデル誤差に対するロバストネスに与える影響はいかほどか。
• RQ4 PI-Netは、連続制御ベンチマークにおいて、標準的な価値ベースまたは模倣ベースの深層強化学習手法を上回る性能を示せるか。
• RQ5 高次元制御タスクにおける計画ベースの制御のパフォーマンスに、アーキテクチャ選択（例：LCN 対 CNN）が与える影響は何か。

主な発見

• 訓練済みのPI-Netは振り子のスイングアップタスクで100％の成功率を達成し、エキスパートの性能と同等であった。一方、固定ダイナミクスのPI-Net（凍結済み）はモデル誤差のため汎化性能が劣化していた。
• 訓練済みのPI-Netは軌道コスト429.69を達成し、エキスパートの404.63に近く、最適コスト関数の効果的な模倣を示した。
• 図3に示すように、PI-Netで学習されたコストモデルは、教師モデルに非常に近い形状を示し、デモンストレーションから潜在的なコスト関数を正確に抽出できたことを裏付けた。
• VINベースのモデル（LCNおよびCNN）は振り子タスクでいかなる成功も達成できず（0％の成功率）、標準的な価値反復ネットワークでは連続制御をモデル化することが難しいことを示した。
• PI-Netはテスト時のダイナミクスMSEが1.65×10⁻³、テスト時のコストMSEが1.65×10⁻³を達成し、優れた汎化性能と正確なモデル学習を示した。
• エンドツーエンド学習により、コストモデルがダイナミクスモデル誤差を暗黙的に補償でき、固定ダイナミクスベースラインよりもロバストネスと性能が向上した。