[論文レビュー] Towards continuous control of flippers for a multi-terrain robot using deep reinforcement learning

Giuseppe Paolo, Lei Tai+1 more|arXiv (Cornell University)|Sep 25, 2017

Reinforcement Learning in Robotics参考文献 17被引用数 6

ひとこと要約

本論文は、階段の上り下りを可能にするため、部分的観測性と複雑な動的特性に直面するマルチターエイン・トラックドロボットのフラッパーを連続的かつエンドツーエンドで制御するため、深層決定的方策勾配（DDPG）に基づく深層強化学習（DRL）コントローラーを提案する。入力は生のカメラ画像から学習されるが、局所的最適解や非最適な方策に陥りやすく、報酬設計の改善と再帰的ネットワークの導入が求められることが示された。

ABSTRACT

In this paper we focus on developing a control algorithm for multi-terrain tracked robots with flippers using a reinforcement learning (RL) approach. The work is based on the deep deterministic policy gradient (DDPG) algorithm, proven to be very successful in simple simulation environments. The algorithm works in an end-to-end fashion in order to control the continuous position of the flippers. This end-to-end approach makes it easy to apply the controller to a wide array of circumstances, but the huge flexibility comes to the cost of an increased difficulty of solution. The complexity of the task is enlarged even more by the fact that real multi-terrain robots move in partially observable environments. Notwithstanding these complications, being able to smoothly control a multi-terrain robot can produce huge benefits in impaired people daily lives or in search and rescue situations.

研究の動機と目的

• 生のカメラ入力と学習された行動のみを用いて、マルチターエイントラックドロボットのフラッパーに対して連続的かつエンドツーエンドの制御方策を開発すること。
• ロボットが自立的に階段を上り下りできるように、生のカメラ入力と学習された行動のみを用いること。
• DRLを用いた現実世界のロボット制御における部分的観測性の課題に対処すること。
• DDPGが物理的ロボットのための複雑な連続的制御タスクをシミュレーションで実現する可能性と限界を評価すること。
• 将来のDRLベースのロボット制御システムのための主要な失敗モードを特定し、改善策を設計すること。

提案手法

• 制御方策は、連続的行動を扱うDRL手法としての深層決定的方策勾配（DDPG）アルゴリズムを用いて学習される。
• エージェントは4つの連続するカメラフレームの系列を観測することで、運動量や速度を推定し、明示的な記憶を用いずに時間的文脈を模倣する。
• 行動空間はフラッパー関節の角度に対する連続的制御信号から構成され、滑らかでリアルタイムな調整が可能である。
• 自らの報酬関数は、IMUデータからのプラットフォームのピッチの過剰な変化、非効率なフラッパーの姿勢、進行不能状態をペナルティ化することで学習を導く。
• 探索中に実機にリスクを及けるのを避けるために、訓練は完全にシミュレーション環境で実施される。
• 生の視覚的観測を連続的行動にマッピングするためにニューラルネットワークが使用され、手動で設計された特徴量や中間表現は一切使用されない。

実験結果

リサーチクエスチョン

• RQ1 DDPGは、階段の上り下りのような部分的観測性があり複雑な環境において、安定した連続的制御方策を学習できるか？
• RQ2 報酬関数の設計が、このタスクにおけるDRLエージェントの収束性と性能にどのように影響を与えるか？
• RQ3 フレームスタックによる入力としての4フレームの使用は、フィードフォワードネットワークにおける再帰的記憶の欠如をどの程度補うことができるか？
• RQ4 このタスクにおけるDDPGエージェントの主な失敗モードは何か？ また、それらはネットワークアーキテクチャや報酬設計とどのように関係しているか？
• RQ5 LSTMなどの再帰的ニューラルネットワーク（RNN）は、フィードフォワードネットワークにおけるフレームスタックと比較して、時間的ダイナミクスをより良くモデル化できるか？

主な発見

• DDPGエージェントはシミュレーション上で階段の上り下りを成功させ、エンドツーエンドDRLがロボット分野における複雑な連続的制御タスクに適用可能であることを示した。
• 損失とQ値のトレンドが減少するなど学習の進展は見られるが、エージェントは頻繁に局所的最適解に陥り、例えばフラッパーが-90°に位置する場合に非効率的または失敗したナビゲーションを引き起こす。
• 2次元畳み込みネットワークアーキテクチャが3次元バージョンを上回った。これは、時間的モデリングが畳み込みブランチによってネットワークの初期段階でより効果的に処理されるべきであることを示唆している。
• 4枚のフレームをスタックして入力する手法は、運動ダイナミクスを効果的に捉えるには不十分であり、時間依存性を直接モデル化できる再帰的ネットワーク（例：LSTM）の導入が求められる。
• 報酬関数は危険な行動や停止状態を抑制する点で有効であったが、最適な方策に導くには不十分であり、さらなる最適化の余地があることを示した。
• 本研究では、フレームスタックを用いた現在のフィードフォワードネットワークが時間的シーケンスモデリングに不適切であることが判明し、それらを再帰的アーキテクチャに置き換えることで性能向上が著しく見込めることが示された。