[論文レビュー] Using Simulation to Improve Sample-Efficiency of Bayesian Optimization for Bipedal Robots

Akshara Rai, Rika Antonova+2 more|arXiv (Cornell University)|Jan 1, 2019

Machine Learning and Algorithms被引用数 16

ひとこと要約

本稿では、歩行ロボットの制御器を訓練する際のサンプル効率を向上させるために、シミュレーションを補完とするベイズ最適化フレームワークを提案する。物理ベースのシミュレーションを活用して合成データを生成し、獲得関数をガイドすることで、現実世界の試行錯誤を削減し、より少ない現実世界のエピソードで収束を達成する。実証により、標準的なベイズ最適化と比較して、サンプル要件を最大60％まで削減できることが示された。

ABSTRACT

Learning for control can acquire controllers for novel robotic tasks, paving the path for autonomous agents. Such controllers can be expert-designed policies, which typically require tuning of para ...

研究の動機と目的

• 現実世界のロボット制御におけるベイズ最適化の高いサンプル複雑性に対処すること。各試行が高コストかつ時間がかかるため。
• 最適化ループに物理ベースのシミュレーションを統合することで、広範な現実世界の試行に依存するのを減らすこと。
• 歩行走行のためのロバストで一般化可能な制御器を学習する際のサンプル効率を向上させること。
• シミュレーションで生成されたデータが、パフォーマンスに影響を及げないまま、現実世界のポリシー最適化を効果的にガイドできることを検証すること。

提案手法

• 本手法は、現実世界のダイナミクスを近似する合成ロールアウトを生成する微分可能物理シミュレータを用いる。
• 実データとシミュレートされたデータの両方を用いてサーヴェイモデルを訓練し、ハイパーパrameter空間全体におけるポリシー性能を予測する。
• 実データからの期待改善とシミュレートされたデータからの期待改善を組み合わせたハイブリッド獲得関数を用い、探索と活用のバランスを取る。
• フレームワークは、獲得関数に基づいて新しいハイパーパrameter設定を繰り返し選択し、シミュレーションによって特定された有望な領域を優先する。
• トランスファーラーニングのコンponentを用いて、少数の現実世界の評価を活用してサーヴェイモデルをファインチューニングし、シミュレーションから現実へのドメインギャップを是正する。
• 最適化プロセスは、現実世界でのデプロイメント中の安全性と安定性を保つために制約を設け、シミュレーションを用いて危険な設定を事前にスクリーニングする。

実験結果

リサーチクエスチョン

• RQ1 シミュレーションで生成されたデータは、歩行ロボット制御におけるベイズ最適化の現実世界の試行回数を顕著に削減できるか？
• RQ2 獲得関数に実データとシミュレートされたデータを組み合わせることで、収束速度と最終的なポリシー性能にどのような影響を与えるか？
• RQ3 物理ベースのシミュレーションは、複雑な走行タスクにおける現実世界のポリシー性能をどれほど正確に予測できるか？
• RQ4 サンプル効率を向上させるために、シミュレーションの忠実度と計算コストの最適なトレードオフは何か？
• RQ5 ハイブリッド獲得関数は、シミュレーションにおける探索と現実世界データにおける活用のバランスをどれほど効果的に取れるか？

主な発見

• シミュレーション補完型アプローチにより、標準的なベイズ最適化と比較して、現実世界の試行回数を最大60％まで削減できた。
• 本手法を用いて訓練されたポリシーは、多様な地形条件下でも平均報酬が高く、より高いロバスト性を示した。
• シミュレーションデータの統合により収束速度が向上し、最適性能に到達するのに20回未満の現実世界エピソードで完了した。
• ハイブリッド獲得関数は、純粋に実データまたはシミュレーションに依存する代替手法よりも、サンプル効率および最終的なポリシー性能の両面で優れていた。
• トランスファーラーニングによるファインチューニングは、シミュレーションから現実へのドメインギャップを顕著に低減させ、シミュレーション予測が現実世界の設定でも予測可能性を保った。
• 本手法は、最小限の現実世界相互作用で、安定的かつ機敏な歩行を、挑戦的な地形でも実現できた。