[論文レビュー] Bayesian Optimization for Policy Search in High-Dimensional Systems via Automatic Domain Selection

Lukas P. Fröhlich, Edgar D. Klenske+2 more|arXiv (Cornell University)|Jan 1, 2019

Machine Learning and Algorithms被引用数 3

ひとこと要約

本論文は、学習済みのダイナミクスモデルを活用して最適化領域を自動的に定義し、線形埋め込みによる有効次元数の低減を図ることで、高次元ポリシー探索におけるベイズ最適化（BO）フレームワークを提案する。動的領域適応（DDA）を導入し、必要に応じて探索空間を拡張することで、48次元のクアッドコpter制御において、サンプル効率の高いBOを実現し、ベースライン手法を上回る収束速度と優れた性能を達成した。

ABSTRACT

Bayesian Optimization (BO) is an effective method for optimizing expensive-to-evaluate black-box functions with a wide range of applications for example in robotics, system design and parameter optimization. However, scaling BO to problems with large input dimensions (>10) remains an open challenge. In this paper, we propose to leverage results from optimal control to scale BO to higher dimensional control tasks and to reduce the need for manually selecting the optimization domain. The contributions of this paper are twofold: 1) We show how we can make use of a learned dynamics model in combination with a model-based controller to simplify the BO problem by focusing onto the most relevant regions of the optimization domain. 2) Based on (1) we present a method to find an embedding in parameter space that reduces the effective dimensionality of the optimization problem. To evaluate the effectiveness of the proposed approach, we present an experimental evaluation on real hardware, as well as simulated tasks including a 48-dimensional policy for a quadcopter.

研究の動機と目的

• 高次元制御ポリシー探索におけるベイズ最適化（BO）のスケーラビリティを改善すること。標準BOは次元の呪いにより、高次元では実行不可能になるため。
• 手動によるドメイン選択に依存するのを減らし、学習済みのダイナミクスモデルとモデルベース制御技術を用いて最適化境界を自動的に特定すること。
• 目的関数の有効構造を捉える低次元線形埋め込みを特定することで、サンプル効率を向上させること。
• 初期ドメインが過度に制限的である場合に生じるモデルバイアスを、最適化中に動的領域適応（DDA）を用いて軽減すること。
• モデルの洞察を活用してドメインと埋め込み選択を最適化しつつ、高次元空間で直接、モデルフリーのポリシー最適化を可能にすること。

提案手法

• 学習済みのダイナミクスモデルを活用し、モデルベース制御（例：LQR）を用いて最適化に適したパrameter空間の領域を特定する。
• 制御の安定領域を用いて初期ドメイン境界を自動的に定義し、手動チューニングを排除する。
• 主成分分析（PCA）を用いて、目的関数の主要な変動を捉える低次元線形部分空間（埋め込み）を同定する。
• 動的領域適応（DDA）を導入：もしサロゲートモデルが境界付近に最適解を予測した場合、その方向にドメインを拡張することで、早期収束を回避する。
• 低次元ドメイン上でモデルフリーBOを実行し、ガウス過程（GP）サロゲートを用いて獲得関数最適化をガイドする。
• ドメイン選択と埋め込み技術を、安全な探索戦略と組み合わせ、危険なポリシーを拒否し、高いコストを割り当てることで、ハードウェア損傷を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 学習済みのダイナミクスモデルを用いて、高次元ポリシー探索におけるベイズ最適化のパrameterドメインを自動的に定義できるか？
• RQ2 高次元ポリシー最適化問題の有効次元数を、性能を維持したまま低減できるか？
• RQ3 動的領域適応（DDA）は、BOに基づくポリシー探索における収束速度と最終的性能を向上させるか？
• RQ4 提案手法は、標準BOおよびREMBOと比較して、高次元制御タスクで優れた性能を達成できるか？
• RQ5 この手法は、ドメインおよび埋め込み選択におけるエキスパート知識の必要性をどの程度低減できるか？

主な発見

• 提案手法は、48次元のクアッドコpter制御タスクにおいて、30イテレーション以内に名目的なLQRポリシーを常に上回る収束速度と性能を達成した。
• PCAドメイン上で最適化することで、有効探索空間が低減され、独立（ランダム）ドメインよりも高速に収束した。
• 動的領域適応（DDA）により、収束がさらに加速され、初期ドメインが小さすぎた場合でもLQRベースラインを上回るポリシーが得られた。
• 有効次元数が10および20のREMBOと比較して、PCAドメインとDDAを用いた本手法は顕著に優れた性能を示したが、ランダム埋め込みを用いたREMBOは性能が劣った。
• 軌道可視化により、最適化されたポリシーが目標状態に迅速に収束し、ピッチ角のオーバーシュートを低減していることが確認された。
• 本手法は、安全制約を満たす実機上でもポリシー最適化に成功し、危険なポリシーを拒否し、システム損傷を防ぐために高いコストを割り当てた。