[論文レビュー] Deep Kernels for Optimizing Locomotion Controllers

Rika Antonova, Akshara Rai+1 more|arXiv (Cornell University)|Jul 27, 2017

Robotic Locomotion and Control参考文献 18被引用数 5

ひとこと要約

本稿では、高精度なシミュレーションデータを用いて訓練された深層ニューラルネットワークを活用し、歩行制御パラメータの最適化におけるベイズ最適化（BO）のための情報に基づいた距離尺度を学習する手法を提案する。軌道要約やコスト関数から行動の類似性を捉えるカーネルを学習することで、標準カーネルと比較して試行回数を50%以上削減する顕著なサンプル効率の向上を達成した。この手法は、5次元のATRIASロボットおよび16次元の神経筋モデルの両方のシミュレーション環境で有効である。

ABSTRACT

Sample efficiency is important when optimizing parameters of locomotion controllers, since hardware experiments are time consuming and expensive. Bayesian Optimization, a sample-efficient optimization framework, has recently been widely applied to address this problem, but further improvements in sample efficiency are needed for practical applicability to real-world robots and high-dimensional controllers. To address this, prior work has proposed using domain expertise for constructing custom distance metrics for locomotion. In this work we show how to learn such a distance metric automatically. We use a neural network to learn an informed distance metric from data obtained in high-fidelity simulations. We conduct experiments on two different controllers and robot architectures. First, we demonstrate improvement in sample efficiency when optimizing a 5-dimensional controller on the ATRIAS robot hardware. We then conduct simulation experiments to optimize a 16-dimensional controller for a 7-link robot model and obtain significant improvements even when optimizing in perturbed environments. This demonstrates that our approach is able to enhance sample efficiency for two different controllers, hence is a fitting candidate for further experiments on hardware in the future.

研究の動機と目的

• 実機での試行が高コストかつ時間のかかる高次元歩行制御パラメータ最適化における低サンプル効率の課題に対処すること。
• ベイズ最適化におけるエキスパートが定義した距離尺度に依存するのを避け、シミュレーションデータから情報に基づいたカーネル構造を自動で学習すること。
• 複雑な二足歩行タスクにおける滑らかでないコスト関数を含む最適化性能の向上。
• 手動での特徴工学を伴わずに、シミュレーションデータを活用して実ロボットにおける高度な制御パラメータの実用的かつスケーラブルな最適化を可能にすること。

提案手法

• 高精度なシミュレーションから得られる軌道要約を用いて、制御パラメータを低次元の埋め込み空間にマップする深層ニューラルネットワークを訓練し、行動の類似性を捉える。
• 制御パラメータからコスト関数値（例：歩行距離、速度、移動コスト）を予測するニューラルネットワークを訓練することで、コストに基づくカーネルを構築する。
• ロボットの軌道を要約するコンactな8次元要約を再構築するように訓練されたニューラルネットワークを用いて、コストに依存しないカーネルを構築する。これにより、類似性に基づくカーネル学習が可能になる。
• 学習された埋め込みをベイズ最適化におけるガウス過程カーネルの入力として使用し、標準のRBFやMatérnカーネルに代わる。
• 学習されたカーネルを実機（ATRIAS）およびシミュレーション（神経筋モデル）で評価し、標準RBFおよびドメイン特化されたDoGカーネルと性能を比較する。
• モデルに摂動（例：質量/慣性のずれ、不整地帯）を加えることで、ドメインシフト下でのカーネルのロバストネスをテストする。

実験結果

リサーチクエスチョン

• RQ1 ドメインエキスパートの知識に依存せずに、深層ニューラルネットワークがベイズ最適化における歩行制御のための効果的でタスクに適した距離尺度を学習できるか？
• RQ2 標準RBFカーネルおよびエキスパートが設計したDoGカーネルと比較して、シミュレーションで学習したカーネルは、実世界の歩行制御パラメータ最適化におけるサンプル効率をどのように向上させるか？
• RQ3 軌道要約の再構築に基づくコストに依存しないカーネルは、挑戦的な最適化状況においてコストベースのカーネルと同等またはそれ以上の性能を示すか？
• RQ4 環境の摂動（例：質量/慣性のずれ、不整地帯）下でも、提案手法は高次元制御パラメータ（例：16次元）の最適化において高いサンプル効率を維持できるか？

主な発見

• ATRIASロボットでは、コストベースのディープカーネルにより、90%の成功率（転倒なしでの歩行）に到達するための試行回数を、標準RBFカーネルの90回以上から25回にまで削減した。
• 滑らかなコスト関数を有する16次元の神経筋制御パラメータでは、軌道埋め込みカーネル（trajNN）が25試行後に90%以上の成功率を達成し、手動で設計されたDoGカーネルと同等の性能を示した。
• 転倒をペナルティ化し、目標速度を促進する非滑らかなコスト関数では、trajNNカーネルが100試行後に70%の成功率を達成したが、RBFカーネルは同じ条件下でたった2%（50回中1回）の成功率にとどまった。
• コストに依存しないtrajNNカーネルは、滑らかでないコスト関数の両方の状況でRBFカーネルを顕著に上回り、異なる最適化目的にわたるロバストネスと一般化性能を示した。
• 質量/慣性のずれや不整地帯などのシミュレーションから実機へのドメインシフトが生じる状況でも、著しいサンプル効率の向上が得られた。これは、強い転送性を示している。
• エキスパートが設計したカーネルに匹敵またはそれを上回る性能を達成する一方で、手動での工学的設計に依存する必要を大幅に削減できることが示された。