[論文レビュー] Bayesian Optimization Meets Riemannian Manifolds in Robot Learning

Noémie Jaquier, Leonel Rozo+2 more|arXiv (Cornell University)|Oct 11, 2019

Gaussian Processes and Bayesian Inference参考文献 37被引用数 11

ひとこと要約

本稿では、ロボット学習におけるデータ効率性と収束性を向上させるためにリーマン多様体理論をベイズ最適化に統合するフレームワークである幾何学的認識型ベイズ最適化（GaBO）を提案する。幾何学的認識型カーネルとリーマン最適化を用いた獲得関数の最適化により、特に回転や剛性行列などの高次元非ユークリッドパラメータ空間において、標準的なユークリッド型BOに比べて収束速度、精度、分散低減の面で優れた性能を発揮する。

ABSTRACT

Bayesian optimization (BO) recently became popular in robotics to optimize control parameters and parametric policies in direct reinforcement learning due to its data efficiency and gradient-free approach. However, its performance may be seriously compromised when the parameter space is high-dimensional. A way to tackle this problem is to introduce domain knowledge into the BO framework. We propose to exploit the geometry of non-Euclidean parameter spaces, which often arise in robotics (e.g. orientation, stiffness matrix). Our approach, built on Riemannian manifold theory, allows BO to properly measure similarities in the parameter space through geometry-aware kernel functions and to optimize the acquisition function on the manifold as an unconstrained problem. We test our approach in several benchmark artificial landscapes and using a 7-DOF simulated robot to learn orientation and impedance parameters for manipulation skills.

研究の動機と目的

• ロボット分野で一般的な高次元非ユークリッドパラメータ空間におけるベイズ最適化（BO）の性能低下を解消すること。
• ユークリッド仮定に依存する標準BOの限界を克服し、ロボットのパラメータ空間の内在的幾何構造を捉えられない問題を解決すること。
• 具体的にはリーマン多様体構造を含む分野特有の幾何学的知識をBOフレームワークに統合し、一般化能力と最適化効率を向上させること。
• タスク特有のカーネル設計を必要とせず、さまざまなロボット制御タスクに一般化可能なスケーラブルでタスクに依存しない幾何学的認識型BOのアプローチを開発すること。
• 方向性とインピーダンスパラメータを含むベンチマークランドスケープおよびシミュレーテッドロボット操作タスクにおいて、フレームワークの有効性を実証すること。

提案手法

• 測地線距離を用いてユークリッド距離の代わりにリーマン多様体上のパラメータ間の類似度を計算する幾何学的認識型カーネル関数を導入する。
• リーマン多様体のツールを用いて、リーマン最適化技術により多様体上での獲得関数最適化を制約なし問題に変換する。
• リーマンカーネルを用いたガウス過程（GPs）を用いてコスト関数をモデル化し、非ユークリッド空間上での正確な関数近似を可能にする。
• 探索中に多様体の内在的幾何構造を尊重するため、獲得関数最適化にリーマン信頼領域法を適用する。
• 直接強化学習パイプラインにフレームワークを統合し、データ効率性と安全性を維持したままロボットポリシー最適化を実現する。
• 物理的整合性と幾何的忠実性を保証するため、多様体固有のパラメータ化（例：SO(3)にはクォータニオン、剛性には対称正定値行列）を用いる。

実験結果

リサーチクエスチョン

• RQ1 幾何学的認識型ベイズ最適化は、高次元非ユークリッドロボットパラメータ空間において収束性と精度を向上させることができるか？
• RQ2 カーネル関数にリーマン多様体構造を組み込むことで、BOにおけるガウス過程モデルの一般化能力と性能にどのような影響を与えるか？
• RQ3 獲得関数のリーマン最適化は、ユークリッド型BOと比較して分散低減と収束加速にどの程度寄与するか？
• RQ4 パラメータ多様体の次元が増加するに従い、GaBOは標準BOおよびコレスキー分解ベースの代替手法と比べてどの程度スケーラブルか？
• RQ5 タスク特有のカーネル設計を伴わず、方向性とインピーダンスパラメータを含む実際のロボット制御タスクにGaBOを効果的に適用できるか？

主な発見

• すべてのベンチマーク関数およびロボットタスクにおいて、標準的なユークリッド型BOに比べてGaBOはより速い収束と低い解の分散を達成した。
• 3次元球面多様体（S³）において、GaBOは30回の試行において顕著に低い分散でゼロに近いコスト解に収束したのに対し、ユークリッド型BOはそのような性能を達成できなかった。
• 2次元および3次元の対称正定値多様体（S²₊およびS³₊）において、GaBOはユークリッド型BOおよびコレスキー分解ベースのBOを上回ったが、次元が増加するに従いその差が顕著になった。
• 7自由度ロボットにおける剛性行列最適化のシナリオでは、GaBOはより低い総コストと優れた追従性能を達成し、トルク使用量も低減した。これは、実世界のロボット制御設定においても頑健性を示している。
• 多様体の次元が増加するに従い、GaBOとユークリッド型BOの性能差が拡大した。これは、幾何学的認識モデリングのスケーラビリティの優位性を裏付けた。
• 3×3の対称正定値行列のような高次元非ユークリッド空間においても、GaBOは一貫性があり正確な最適化を維持したが、標準BOは信頼性のない収束を示した。