[論文レビュー] Data-efficient Co-Adaptation of Morphology and Behaviour with Deep Reinforcement Learning

Kevin Sebastian Luck, Heni Ben Amor+1 more|arXiv (Cornell University)|Nov 15, 2019

Reinforcement Learning in Robotics被引用数 12

ひとこと要約

本論文は、事前経験を活用して新しい形状の性能を予測するソフトアクトアクリティック（SAC）フレームワークを用いて、ロボットの形状と行動をデータ効率的に共同最適化する深層強化学習手法を提案する。各設計をシミュレーションしなくても、学習されたクライマーが期待報酬を推定することで、必要なプロトタイプ数を最大3桁削減する。ベースラインのシミュレーションと比較して、50件の設計でほぼ最適性能を達成した（ベースラインは24,177件）。

ABSTRACT

Humans and animals are capable of quickly learning new behaviours to solve new tasks. Yet, we often forget that they also rely on a highly specialized morphology that co-adapted with motor control throughout thousands of years. Although compelling, the idea of co-adapting morphology and behaviours in robots is often unfeasible because of the long manufacturing times, and the need to re-design an appropriate controller for each morphology. In this paper, we propose a novel approach to automatically and efficiently co-adapt a robot morphology and its controller. Our approach is based on recent advances in deep reinforcement learning, and specifically the soft actor critic algorithm. Key to our approach is the possibility of leveraging previously tested morphologies and behaviors to estimate the performance of new candidate morphologies. As such, we can make full use of the information available for making more informed decisions, with the ultimate goal of achieving a more data-efficient co-adaptation (i.e., reducing the number of morphologies and behaviors tested). Simulated experiments show that our approach requires drastically less design prototypes to find good morphology-behaviour combinations, making this method particularly suitable for future co-adaptation of robot designs in the real world.

研究の動機と目的

• ロボット設計における物理的プロトタイプ作成の高コストと時間消費を低減し、形状と行動のデータ効率的共同最適化を可能にする。
• シミュレーションから現実へのギャップを低減し、設計候補の評価にシミュレーションに依存しないようにする。
• 高性能な形状・行動の組み合わせを発見するために必要な物理的またはシミュレーテッドプロトタイプの数を削減する。
• 設計プロセスをスケーラブルかつ効率的にして、共同最適化されたロボットの実世界への展開を可能にする。
• 過去の経験を活用して未検証の形状の性能を予測し、設計最適化におけるサンプル効率を向上させる。

提案手法

• 形状パラメータをポリシーネットワークの入力として用い、ソフトアクトアクリティック（SAC）アルゴリズムを用いて形状と行動ポリシーを同時に最適化する。
• 任意の形状と状態における期待リターン（Q値）を推定するためのクライマー・ネットワークを訓練し、シミュレーションなしに性能を予測可能にする。
• クライマーのQ値に基づく設計最適化目的関数を定式化し、シミュレーション実行なしに有望な形状を選択可能にする。
• 主成分分析（PCA）を用いて形状パラメータ全体の報酬ランドスケープを可視化し、性能のトレンドを特定する。
• 256個の初期設計をバッチとして用いてクライマーとポリシーを訓練し、その後、クライマーの予測性能に基づいて新たな設計を段階的に選択する。
• 集団ベースのシミュレーション試行を、候補形状を関数近似によって評価する、1つの継続的かつ更新可能なアクトアクリティックシステムに置き換える。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習フレームワークは、プロトタイプ数を大幅に削減できるデータ効率的かつ共同最適化を実現できるか？
• RQ2 学習されたクライマーによる形状性能予測は、従来のシミュレーションベース評価と比較して、サンプル効率および最終的な性能で優れているか？
• RQ3 以前にテストされた形状からの経験を、新しい高性能設計の発見を支援するためにどの程度活用できるか？
• RQ4 形状パラメータの報酬ランドスケープを効果的に可視化できるか、設計性能のトレンドを理解する手がかりが得られるか？
• RQ5 本手法は、設計最適化中にシミュレーションの必要性を最小限に抑えることで、シミュレーションから現実へのギャップを低減できるか？

主な発見

• 本手法は、Half-Cheetahタスクにおいて、ベースラインの24,177件のシミュレーションと比較して、わずか50件の設計評価で同等または優れた性能を達成した。
• 設計最適化中はシミュレーションを一切実行せず、クライマー・ネットワークが直接性能を予測したため、計算コストと時間コストが著しく削減された。
• 報酬ランドスケープの可視化により、前肢および後肢の短いセグメントがより高い期待報酬と関連していることが判明し、実用的な設計インサイトが得られた。
• ランダムな設計スキャンピングを上回り、256の集団サイズを用いたOpenAI-ESと同等または優れた性能を示し、優れたサンプル効率を実証した。
• クライマー・ネットワークの形状間での一般化能力のおかげで、各候補について再訓練やシミュレーションなしに設計空間を効果的に探索できた。
• 必要なプロトタイプ数を約3桁削減でき、形状と行動の実世界における共同最適化が現実可能になった。