[論文レビュー] Learning Search Space Partition for Black-box Optimization using Monte Carlo Tree Search

Linnan Wang, Rodrigo Fonseca+1 more|arXiv (Cornell University)|Jul 1, 2020

Advanced Bandit Algorithms Research参考文献 55被引用数 31

ひとこと要約

LA-MCTSはブラックボックス最適化の非線形空間分割を学習するメタアルゴリズムで、選択された領域内でBOを使用し、特に高次元問題でサンプル効率を改善します。

ABSTRACT

High dimensional black-box optimization has broad applications but remains a challenging problem to solve. Given a set of samples $\{\vx_i, y_i\}$, building a global model (like Bayesian Optimization (BO)) suffers from the curse of dimensionality in the high-dimensional search space, while a greedy search may lead to sub-optimality. By recursively splitting the search space into regions with high/low function values, recent works like LaNAS shows good performance in Neural Architecture Search (NAS), reducing the sample complexity empirically. In this paper, we coin LA-MCTS that extends LaNAS to other domains. Unlike previous approaches, LA-MCTS learns the partition of the search space using a few samples and their function values in an online fashion. While LaNAS uses linear partition and performs uniform sampling in each region, our LA-MCTS adopts a nonlinear decision boundary and learns a local model to pick good candidates. If the nonlinear partition function and the local model fits well with ground-truth black-box function, then good partitions and candidates can be reached with much fewer samples. LA-MCTS serves as a \emph{meta-algorithm} by using existing black-box optimizers (e.g., BO, TuRBO) as its local models, achieving strong performance in general black-box optimization and reinforcement learning benchmarks, in particular for high-dimensional problems.

研究の動機と目的

• 学習された空間分割を用いて過剰探索を避けることで高次元ブラックボックス最適化に取り組む。
• 有望な領域にサンプリングを集中させる階層的な分割戦略を活用する。
• 学習された分割内に局所オプティマイザ（例: TuRBOまたはBO）を統合してサンプル効率を向上させる。
• MuJoCo RLベンチマークと合成関数全体で有効性を示す。
• ハイパーパラメータと分割戦略の影響を理解するためのアブレーションを提供する。

提案手法

• 現在のサンプルから学習された潜在的アクションを用いて、探索空間の各ノードが領域を表す木を構築し、再帰的に分割する。
• ノード内で、K-meansを用いて関数値でサンプルをクラスタリングし、良好/不良領域を識別し、その後非線形境界（潜在アクション）を形成するSVMを訓練して分割を行う。
• 探索と搾取のバランスを取るためにUCBを用いて分割空間を経路選択し、有望なリーフにサンプルを集中させる。
• 選択された領域で、局所ソルバー（TuRBOまたはBO）でfを最適化する一方、潜在アクション境界の経路によって定義された領域に探索を制約する。
• サンプル数が閾値を超えた場合にリーフを反復的に分割して有望な領域で探索を深め、時間とともにv*推定を洗練させる。
• 制約領域Omega_selected内のサンプリング戦略を提供し、その領域に適応したTuRBO初期化を行い、頑健な探索を保証する。

実験結果

リサーチクエスチョン

• RQ1 学習された非線形空間分割は、固定分割法と比較して高次元のブラックボックス最適化におけるサンプル効率を改善できるか？
• RQ2 適応的に学習された領域内に局所的なベイズ最適化を統合すると、単独のBOまたはEA手法を上回るか？
• RQ3 ハイパーパラメータ（C_p、カーネル選択、分割閾値）がLA-MCTSのパフォーマンスにどのように影響するか？
• RQ4 MuJoCo RLタスク、軌道最適化、合成ベンチマークなど、さまざまなドメインに対して一般的なメタ最適化アルゴリズムとしてLA-MCTSは堅牢か？

主な発見

タスク	報酬閾値	LA-MCTS	ARS V2-t mania2018simple	NG-lin rajeswaran2017towards	NG-rbf rajeswaran2017towards	TRPO-nn mania2018simple
Swimmer-v2	325	126	427	1450	1550	N/A
Hopper-v2	3120	2913	1973	13920	8640	10000
HalfCheetah-v2	3430	3967	1707	11250	6000	4250
Walker2d-v2	4390	N/A( $r_{best}=3523$ )	24000	36840	25680	14250
Ant-v2	3580	N/A( $r_{best}=2871$ )	20800	39240	30000	73500
Humanoid-v2	6000	N/A( $r_{best}=3202$ )	142600	130000	130000	unknown

• LA-MCTSはMuJoCoの移動タスクで最先端のベースライン（TuRBO、HesBO、BOHB、CMA-ES、DE、DOO、SOO、VOO）を一貫して上回り、次元が高くなるにつれて特に優れている。
• 学習された非線形分割とUCB主導のノード選択は集中探索を可能にし、高次元問題での過剰探索を減らしサンプル効率を改善する。
• TuRBOと組み合わせた場合、LA-MCTSは性能を大幅に向上させ、再起動間で有望な領域からの初期化を提供する。
• LA-MCTSは高次元での勾配ベースのベイズ最適化を強化し、AckleyやRosenbrockのような合成関数の性能を改善する。
• アブレーション研究は、探索が重要（Cp）、カーネル選択（SVM）、分割閾値（theta）が結果に大きく影響することを示す。適切な閾値を持つより深い木は大規模空間での効果がある。