[論文レビュー] Limbo: A Fast and Flexible Library for Bayesian Optimization

Antoine Cully, Konstantinos Chatzilygeroudis+2 more|arXiv (Cornell University)|Nov 22, 2016

Gaussian Processes and Bayesian Inference参考文献 9被引用数 15

ひとこと要約

Limbo は、テンプレートベースでポリシー駆動の設計を採用した、オープンソースの C++11 ライブラリであり、ベイジアン最適化を実装するもので、高いパフォーマンスと極めて高い柔軟性を併せ持つ。ベンチマークでは、同等の精度を達成しながら BayesOpt より 1.47–2.54 倍高速であることが示されており、ロボット学習や組み込みシステムのようなリアルタイム応用に最適である。

ABSTRACT

Limbo is an open-source C++11 library for Bayesian optimization which is designed to be both highly flexible and very fast. It can be used to optimize functions for which the gradient is unknown, evaluations are expensive, and runtime cost matters (e.g., on embedded systems or robots). Benchmarks on standard functions show that Limbo is about 2 times faster than BayesOpt (another C++ library) for a similar accuracy.

研究の動機と目的

• 研究や実装に適した、高パフォーマンスと高設定可能性を両立したオープンソースのベイジアン最適化ライブラリが不足しているという問題に対処すること。
• カーネル、獲得関数、最適化手法といったコンponentの簡単な交換を可能にすることで、新しいベイジアン最適化の変種の迅速なプロトタイピングを可能にすること。
• 実行時間の効率が極めて重要なリアルタイムやリソース制限のある応用、たとえばオンラインでのロボット適応や組み込みシステムにおいても対応できること。
• 仮想関数呼び出しに起因するパフォーマンスの損失を回避する、現代的で標準準拠の C++ 実装を提供すること。
• 包括的なドキュメンテーション、ユニットテスト、および公開の GitHub リポジトリを通じて、再現可能な研究とコミュニティ主導の開発を促進すること。

提案手法

• 仮想関数呼び出しに起因するランタイムオーバーヘッドを回避するため、コンパイル時におけるコンponentの置き換えが可能なテンプレートベースでポリシー駆動の設計を採用している。
• 目的関数をファンクタで定義し、静的型特性（dim_in, dim_out）を用いて入力および出力次元を指定している。
• ファンクタインターフェースにおけるカスタマイズ可能な出力型を用いることで、マルチ目的最適化をサポートしている。
• 目的関数のモデリングに、設定可能なカーネル（例：Matern-5/2、平方指数）と平均関数を備えたガウス過程を採用している。
• NLOpt ラッパーを介して複数の内部最適化手法を統合し、獲得関数およびハイパーパrameter 最適化問題を解いている。
• 並列リスタートとチェーン最適化戦略を採用することで、局所最適解からの脱出を実現しつつ、計算コストを最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 C++11 ライブラリとして、ベイジアン最適化において高パフォーマンスと極めて高い設定可能性を両立できるように設計できるか？
• RQ2 ポリシー駆動でテンプレート駆動された実装は、従来のオブジェクト指向ライブラリと比較して、速度と精度の面でどの程度優れているか？
• RQ3 このようなライブラリは、実行時間に厳しい制約が課されるリアルタイム、組み込み、あるいはインタラクティブな応用において、どの程度活用可能か？
• RQ4 新しい獲得関数やカーネル関数といった新規コンponentに対する迅速な実験を、効率的にサポートできるか？
• RQ5 標準ベンチマーク関数において、Limbo のパフォーマンスは BayesOpt や他の最先端のライブラリと比較してどの程度か？

主な発見

• ハイパーパrameter が最適化されていない状態で、同じ精度（誤差 < 2.10⁻³）を達成する場合、Limbo は BayesOpt より 1.47–1.76 倍速く収束する。
• ハイパーパrameter が最適化された場合、同じベンチマーク関数において Limbo は BayesOpt より 2.05–2.54 倍速い。
• 性能向上の主な要因は、仮想関数呼び出しに起因するランタイムコストを排除する効率的なテンプレートベース設計にある。
• カスタムカーネル、獲得関数、最適化手法といった新しいコンponentのシンプルなテンプレートインスタンス化により、Limbo は容易に統合が可能である。
• 本ライブラリは、機械的損傷後の脚式ロボットの歩行パターンのオンライン適応といった実世界のロボティクス応用でも成功裏に導入されており、10–15 回の試行（2 分以内）で実現している。
• ライブラリは GPL 互換の CeCiLL ライセンスで配布されており、完全なドキュメンテーション、API リファレンス、GitHub 上での継続的インテグレーションのサポートが整っている。