[論文レビュー] Recurrent Network-based Deterministic Policy Gradient for Solving Bipedal Walking Challenge on Rugged Terrains

Doo Re Song, Chuanyu Yang+2 more|arXiv (Cornell University)|Oct 8, 2017

Reinforcement Learning in Robotics参考文献 11被引用数 2

ひとこと要約

本稿では、時間的ブートストラップ、トラジェクトリースキャンによる隠れ状態初期化、外部経験のインジェクションを組み合わせた、部分観測性を解消するための再帰的決定的方策勾配（RDPG）フレームワークを提案する。OpenAIのBipedal-Walkerを、荒れた地形で評価した結果、誤差分散を効果的に管理し、長期的文脈と共有経験を活用することで、最先端のベースラインを上回る高い成功確率と優れた適応性を達成した。

ABSTRACT

This paper presents a deep learning framework that is capable of solving partially observable locomotion tasks based on our novel interpretation of Recurrent Deterministic Policy Gradient (RDPG). We study on bias of sampled error measure and its variance induced by the partial observability of environment and subtrajectory sampling, respectively. Three major improvements are introduced in our RDPG based learning framework: tail-step bootstrap of interpolated temporal difference, initialisation of hidden state using past trajectory scanning, and injection of external experiences learned by other agents. The proposed learning framework was implemented to solve the Bipedal-Walker challenge in OpenAI's gym simulation environment where only partial state information is available. Our simulation study shows that the autonomous behaviors generated by the RDPG agent are highly adaptive to a variety of obstacles and enables the agent to effectively traverse rugged terrains for long distance with higher success rate than leading contenders.

研究の動機と目的

• エージェントが完全な状態情報を得られない部分観測性環境における強化学習のロケモーションタスクにおける課題に対処すること。
• 部分観測環境における部分軌道サンプリングに起因する時系列差分誤差の分散を低減すること。
• 過去の軌道コンテキストを用いた隠れ状態初期化により、方策学習の安定性とサンプル効率を向上させること。
• 他のエージェントからの外部経験を統合することで、一般化性能と学習速度を向上させること。
• 模擬的な二足歩行環境における複雑で荒れた地形を、長時間にわたる適応的ナビゲーションを可能にする。

提案手法

• 部分観測環境下での部分軌道サンプリングに起因する誤差分散を低減するため、補間された時系列差分を用いたテイルステップブートストラップを導入する。
• 過去の軌道をスキャンすることで隠れ状態を初期化し、長期的コンテキストを保持し、方策の一貫性を向上させる。
• 他のエージェントからの外部経験をリプレイバッファにインジェクションすることで、学習を加速させ、耐性を強化する。
• 再帰的ニューラルネットワークを用いてRDPGフレームワークを拡張し、状態-行動シーケンスにおける逐次的依存関係をモデル化する。
• 連続的制御タスクにおける学習の安定化を図るため、経験リプレイを用いた決定的方策勾配更新則を適用する。
• 段階的学習を用い、徐々に複雑化する地形設定を導入することで、学習収束性と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 部分観測性環境下で、部分軌道ベースの学習において部分観測性が時系列差分誤差の分散に与える影響はいかほどか？
• RQ2 過去の軌道から得た隠れ状態の初期化が、方策学習の安定性とパフォーマンスにどの程度寄与するか？
• RQ3 他のエージェントからの外部経験のインジェクションは、学習の加速と一般化性能の向上にどの程度有効か？
• RQ4 提案されたRDPG拡張は、荒く部分観測性のある地形における長時間にわたる二足歩行タスクで優れたパフォーマンスを達成できるか？
• RQ5 多様な地形設定において、本フレームワークは最先端の手法と比較して、成功確率と適応性の面でどの程度優れているか？

主な発見

• 補間されたテイルステップブートストラップを用いることで、提案されたRDPGフレームワークは、時系列差分学習における誤差分散を顕著に低減した。
• 過去の軌道スキャンによる隠れ状態初期化は、方策の一貫性を向上させ、部分観測環境下でのより良い長期的計画を可能にした。
• 外部経験のインジェクションにより収束が加速し、特に複雑な地形シナリオにおいて耐性が向上した。
• Bipedal-Walker環境において、最先端のベースラインを上回る高い成功確率で荒れた地形を走破した。
• 本フレームワークは、多様な障害物配置にわたる安定的で適応的な歩行を実現し、効果的な一般化性能を示した。