[論文レビュー] Exploring Deep and Recurrent Architectures for Optimal Control

Sergey Levine|arXiv (Cornell University)|Nov 7, 2013

Human Pose and Action Recognition参考文献 22被引用数 15

ひとこと要約

この論文は、ガイドドポリシーサーチを用いて、連続的かつ高次元の歩行タスクにおける制御方策としての深層および再帰的ニューラルネットワークの性能を調査している。複数の地形で学習した際、より深い構造および再帰的構造のネットワークは、浅いネットワークよりも一般化性能に優れていることが判明したが、複雑で変動しやすい環境でも、過学習および局所最適解の問題は依然として顕著な課題である。

ABSTRACT

Sophisticated multilayer neural networks have achieved state of the art results on multiple supervised tasks. However, successful applications of such multilayer networks to control have so far been limited largely to the perception portion of the control pipeline. In this paper, we explore the application of deep and recurrent neural networks to a continuous, high-dimensional locomotion task, where the network is used to represent a control policy that maps the state of the system (represented by joint angles) directly to the torques at each joint. By using a recent reinforcement learning algorithm called guided policy search, we can successfully train neural network controllers with thousands of parameters, allowing us to compare a variety of architectures. We discuss the differences between the locomotion control task and previous supervised perception tasks, present experimental results comparing various architectures, and discuss future directions in the application of techniques from deep learning to the problem of optimal control.

研究の動機と目的

• 深層および再帰的ニューラルネットワークが、連続的かつ高次元の歩行タスクの制御方策として効果的に表現できるかどうかを評価すること。
• 深層学習アーキテクチャが、浅いネットワークと比較して一般化性能およびロバストネスを向上させるかどうかを調査すること。
• 従来の強化学習手法が局所最適解や不安定性に悩まされる中で、大規模なニューラルネットワークの制御学習における課題を解決すること。
• アーキテクチャの複雑さ（深さ、再帰性）が、多様な地形環境における方策性能に与える影響を検討すること。
• 過学習や局所最適解といった制限要因が、深層制御方策において顕在化するメカニズムを特定し、それらの緩和戦略を検討すること。

提案手法

• ガイドドポリシーサーチ（GPS）を用い、軌道最適化とポリシー最適化を統合することで、複雑なポリシーを学習する強化学習アルゴリズムを採用している。
• 非線形最適化アルゴリズム（例：LBFGS や SGD）を用いて反復的にポリシーを改善し、多様なコントローラー構造との互換性を確保している。
• 関節角度を関節トルクに直接マップするニューラルネットワークコントローラーを訓練し、連続的かつ高次元の状態-行動空間を用いている。
• 隠れユニット数や活性化関数（ReLU、ハード ReLU）を変化させた浅い、深い、再帰的アーキテクチャを比較している。
• 例示的なデモンストレーションを用いてポリシーを初期化し、報酬が高い状態空間領域へ最適化を誘導している。
• スパarsity正則化などの正則化技術を適用しているが、実験設定では性能を低下させる傾向にあった。

実験結果

リサーチクエスチョン

• RQ1 深層および再帰的ニューラルネットワークは、連続的かつ高次元の歩行タスクにおいて、浅いネットワークよりも優れた制御方策として機能するか？
• RQ2 アーキテクチャの深さおよび再帰性が、複数の地形ドメインにわたる一般化性能にどのように影響を与えるか？
• RQ3 過学習および局所最適解が、制御タスクにおける複雑なニューラルネットワーク方策の学習をどの程度妨げるか？
• RQ4 訓練ドメインの数を増やすことで、深層および再帰的制御方策の一般化性能が向上するか？
• RQ5 正則化や最適化の修正によって、ニューラルネットワークベースの制御方策における局所最適解や過学習を緩和できるか？

主な発見

• 複数の地形ドメインで学習した際、深層および再帰的ネットワークは、浅いネットワークに比べてわずかではあるが一貫した一般化性能の向上を示した。
• 特に複雑なアーキテクチャでは、デモンストレーションおよび特定の地形タイプへの過学習が顕著な問題となった。
• 訓練ドメインの数が増えるにつれて、局所最適解の問題が深刻化し、より深いネットワークの性能向上が制限された。
• スパarsity正則化は性能を悪化させることが判明し、状態特徴の統計的性質がこの正則化手法の有効性を損なう可能性を示唆している。
• 大規模なネットワークの性能は、十分に多くの訓練ドメインを有しているかどうかに強く依存しており、これは標準的なRLベンチマークでしばしば無視されている。
• 現在の手法が膨大な計算リソース（例：126万回の前向き/後向き伝搬毎の勾配ステップ）を要するため、将来の研究では確率的勾配降下法によるスケーラブルな最適化が不可欠であると考えられる。