[論文レビュー] Bayesian Optimization in Variational Latent Spaces with Dynamic Compression

Rika Antonova, Akshara Rai+2 more|arXiv (Cornell University)|Jul 10, 2019

Gaussian Processes and Bayesian Inference参考文献 40被引用数 11

ひとこと要約

本稿では、シミュレーテッドロボット軌道を低次元の潜在空間に埋め込むために逐次変分オートエンコーダー（SVAE）を用いたベイズ最適化フレームワークを提案する。この手法により、ロボットコントローラーのハイパーパramータチューニングをデータ効率的に実現できる。軌道の望ましさに基づいて動的に探索空間を圧縮することで、10–20回の試行のみで、シミュレーションおよび実機（Daisy hexapodおよびABB Yumi）の両方でベースラインBO手法を上回る性能を達成する。

ABSTRACT

Data-efficiency is crucial for autonomous robots to adapt to new tasks and environments. In this work we focus on robotics problems with a budget of only 10-20 trials. This is a very challenging setting even for data-efficient approaches like Bayesian optimization (BO), especially when optimizing higher-dimensional controllers. Simulated trajectories can be used to construct informed kernels for BO. However, previous work employed supervised ways of extracting low-dimensional features for these. We propose a model and architecture for a sequential variational autoencoder that embeds the space of simulated trajectories into a lower-dimensional space of latent paths in an unsupervised way. We further compress the search space for BO by reducing exploration in parts of the state space that are undesirable, without requiring explicit constraints on controller parameters. We validate our approach with hardware experiments on a Daisy hexapod robot and an ABB Yumi manipulator. We also present simulation experiments with further comparisons to several baselines on Daisy and two manipulators. Our experiments indicate the proposed trajectory-based kernel with dynamic compression can offer ultra data-efficient optimization.

研究の動機と目的

• 10–20回の試行という限られたデータ量の状況で、従来の強化学習および標準的なBOが失敗する領域におけるデータ効率性の課題を解決すること。
• ベイズ最適化におけるシミュレーションベースのカーネルに手作業で設計された特徴量に依存することを排除し、教師なし表現学習を用いること。
• 高次元のコントローラー空間における探索効率を向上させるために、潜在軌道空間における望ましくない行動領域を動的に圧縮すること。
• シミュレーションから実機へのギャップを埋えるために、シミュレーションから得た望ましさに敏感なカーネルを学習すること。
• 多様なロボットタスクにわたる一様なアーキテクチャを用いて、実機でも迅速かつ安定した収束を実現すること。

提案手法

• シミュレーテッド軌道にSVAEを訓練し、高次元のロボット状態シーケンスを低次元の潜在パス空間に埋め込む。
• SVAEは、$ \boldsymbol{x} $（コントローラー・パrameter）を条件とした分布 $ p(\boldsymbol{\tau}|\boldsymbol{x}) $ を同時にモデリングする。ここで $ \boldsymbol{\tau} $ は潜在パスを表す。
• 軌道の望ましさは、衝突、物体の転倒、ワークスペース違反などの状況をマークするバイナリ指標 $ G_{bad} $ で定量化される。
• 動的圧縮は、潜在空間内の距離を望ましさに応じてスケーリングし、BOの過程で望ましくない領域の探索を削減する。
• 得られたSVAE-DCカーネルは、ベイズ最適化ループ内で使用され、ハイパーパramータ（カーネルパラメータを含む）は周辺尤度を用いてオンラインで最適化される。
• フレームワークは、実機（Daisy hexapod、ABB Yumi）およびシミュレーテッドマニピュレータ（Franka Emika、Yumi）で評価され、GPUアクセラレーションを活用したスケーラブルなBOを実現するBoTorchライブラリが使用された。

実験結果

リサーチクエスチョン

• RQ1 SVAEによる教師なし表現学習は、ロボット制御におけるベイズ最適化のデータ効率性を向上させるか？
• RQ2 軌道の望ましさに基づく潜在空間の動的圧縮は、低試行回数の状況下での収束速度および成功確率を向上させるか？
• RQ3 SVAE-DCカーネルは、標準カーネル（例：平方指数カーネル、BBK-KL）と比較して、シミュレーションから実機へのギャップを考慮した上で、性能およびロバスト性に優れているか？
• RQ4 同じSVAE-DCアーキテクチャが、最小限の再チューニングで異なるロボットプラットフォームやタスクに一般化可能か？
• RQ5 潜在空間次元を増加させるとデータ効率が低下するか？また、動的圧縮はその影響を緩和できるか？

主な発見

• ABB Yumiマニピュレータでは、ハードウェア実験において、すべてのベースラインと比較して顕著な性能向上を達成し、シミュレーションと実機の差異に対してもロバストなコントローラーを効果的に発見した。
• Daisy hexapodでは、10回未満のハードウェア試行で歩行を学習し、標準カーネルを用いた無情報BOよりも一貫して優れた性能を示した。
• シミュレーションでは、YumiおよびFranka Emikaの両方で、SVAE-DCを用いたBOがすべてのベースラインを上回った。また、各実行で物体の性質をランダム化することでシミュレーションと実機のズレを再現しても、その性能向上は維持された。
• 潜在空間次元を30Dに、ネットワーク幅を256に拡大しても、SVAE-DCは性能を維持し、実行間の分散を低減した。これは、カーネル次元に対するロバスト性を示している。
• Matérnカーネルは平方指数カーネルよりも一貫した改善をもたらさず、両者ともSVAE-DCに劣った。SVAE-DCは、すべての設定でその優位性を保った。
• SVAE-DCカーネルは、最小限のハイパーパramータチューニングで安定した収束を実現した。これは、多様なロボットタスクおよびハードウェアプラットフォームにわたる強力な一般化能力を示している。