[論文レビュー] Towards semi-episodic learning for robot damage recovery

Konstantinos Chatzilygeroudis, Antoine Cully+1 more|arXiv (Cornell University)|Oct 5, 2016

Reinforcement Learning in Robotics参考文献 13被引用数 4

ひとこと要約

本論文は、ロボットがタスクを実行中に損傷から回復できるようにする半エピソード型学習アルゴリズム（SELA）を導入している。データ効率性と自律性の向上が図られ、ベイズ最適化と動作-パフォーマンスマップを用い、動的報酬選択レイヤーを組み合わせることで、シミュレーテッド6本脚ロボットおよびおもちゃナビゲーションタスクにおいて、ベースライン手法と比較して学習ステップを最大50％まで削減した。

ABSTRACT

The recently introduced Intelligent Trial and Error algorithm (IT\&E) enables robots to creatively adapt to damage in a matter of minutes by combining an off-line evolutionary algorithm and an on-line learning algorithm based on Bayesian Optimization. We extend the IT\&E algorithm to allow for robots to learn to compensate for damages while executing their task(s). This leads to a semi-episodic learning scheme that increases the robot's lifetime autonomy and adaptivity. Preliminary experiments on a toy simulation and a 6-legged robot locomotion task show promising results.

研究の動機と目的

• 純粋なエピソード型学習の限界、すなわち各試行が同じ初期状態から再開されなければならないという点を解決すること。
• タスク実行中に補償行動を学習できるようにすることで、データ効率性と長期的自律性を向上させること。
• 目標に向かって進行しながら損傷に適応できるロボットの開発を可能にし、生物学的回復戦略を模倣すること。
• オフラインの進化計算とオンラインのベイズ最適化を統合するフレームワークの開発。
• 学習中にタスク関連の報酬を動的に選択する報酬選択メカニズムの導入。

提案手法

• シミュレーテッドな健全なロボットにおいて、100万個の原子的動作を生成するMAP-Elitesを用い、多様な歩行戦略を捉えた動作-パフォーマンスマップを構築する。
• 損傷を負った実際のロボット上で、ガウス過程（GP）ベースのベイズ最適化を用いて、これらの動作のパフォーマンスをリアルタイムで学習する。
• タスク固有の報酬を、原子的動作の結果を評価する汎用的報酬関数に置き換える（例：目的方向への移動距離）。
• 現在のタスク進行状況に基づき、各エピソードで最も有益な報酬関数を選択する専用の報酬選択レイヤーを導入する。
• データ効率性とリアルタイム適用性を維持するため、学習を固定回数（N=10–15）に制限する。
• ベイズ最適化の過程で探査と活用のバランスを取るために、上界信頼区間（UCB）の獲得関数を用い、α=0.05とする。

実験結果

リサーチクエスチョン

• RQ1 半エピソード型学習方式は、純粋なエピソード型手法と比較して、ロボットが損傷から回復するまでのステップ数を削減できるか？
• RQ2 原子的動作の結果を評価する汎用的報酬が、タスク実行中の適応をどのようにガイドするか？
• RQ3 動的報酬選択レイヤーは、ロボット損傷回復における学習効率と収束速度を向上させられるか？
• RQ4 提案手法は、異なる損傷シナリオやロボット形状に対しても、どの程度の性能を維持できるか？
• RQ5 事前に計算された動作マップとオンラインのベイズ最適化を統合することで、現実世界のロボット適応におけるデータ効率性はどの程度向上するか？

主な発見

• おもちゃシミュレーションではSELAがほぼ最適なパフォーマンスを達成し、ベースライン手法と比較して、ターゲットに到達するための原子的動作（ステップ）数を著しく削減した。
• 6本脚ロボットのシミュレーションでは、均一なサンプリングまたは事前に学習された方向性動作を用いるIT&Eバージョンと比較して、SELAがターゲット到達までのステップ数を最大50％まで削減した。
• 実際の6本脚ロボットにおいても、脚を除去した状態で補償的歩行戦略を効果的に学習し、予備的な結果では脚の欠損後も適応が成功した。
• 原子的動作の結果を評価する汎用的報酬の使用により、動的環境下でタスク固有の報酬スキームよりも収束が速くなった。
• 報酬選択レイヤーのおかげで、タスク進行に直接寄与する行動に焦点を当てた学習効率が向上した。
• ノイズのある位置観測（σ²=0.01）の下でも、両方のシミュレーションおよび実世界テストで安定したパフォーマンスを維持した。