[論文レビュー] Monte Carlo Tree Search based Variable Selection for High Dimensional Bayesian Optimization

Lei Song, Ke Xue+2 more|arXiv (Cornell University)|Oct 4, 2022

Metaheuristic Optimization Algorithms Research被引用数 10

ひとこと要約

本稿では、高次元のベイズ最適化におけるモンテカルロ木探索（MCTS）に基づく変数選択手法MCTS-VSを提案する。この手法は反復的に重要とされる変数の部分集合を同定・最適化することで、計算コストを顕著に削減するとともに、ナノスケール最適化（NAS）やMuJoCo走行タスクを含む合成的および実世界の問題において最先端の性能を達成する。

ABSTRACT

Bayesian optimization (BO) is a class of popular methods for expensive black-box optimization, and has been widely applied to many scenarios. However, BO suffers from the curse of dimensionality, and scaling it to high-dimensional problems is still a challenge. In this paper, we propose a variable selection method MCTS-VS based on Monte Carlo tree search (MCTS), to iteratively select and optimize a subset of variables. That is, MCTS-VS constructs a low-dimensional subspace via MCTS and optimizes in the subspace with any BO algorithm. We give a theoretical analysis of the general variable selection method to reveal how it can work. Experiments on high-dimensional synthetic functions and real-world problems (i.e., NAS-bench problems and MuJoCo locomotion tasks) show that MCTS-VS equipped with a proper BO optimizer can achieve state-of-the-art performance.

研究の動機と目的

• 高次元ブラックボックス関数におけるベイズ最適化（BO）の次元の呪いに対処すること。
• 変数をランダムに選択するが適応性に欠けるドロップアウト法などの既存の変数選択手法の限界を克服すること。
• 高次元BOにおけるサンプル効率の向上と計算コストの低減を実現する、体系的かつ適応的な変数選択メカニズムの開発。
• 変数選択手法の理論的分析を通じて、そのレギュレート（誤差）と計算複雑度に与える影響を理解し、重要な変数の選択がレギュレートと複雑度を低下させることを示すこと。
• MCTS-VSが多様な高次元最適化問題（NASや強化学習タスクを含む）において、実験的に最先端の性能を達成することを示すこと。

提案手法

• MCTS-VSはモンテカルロ木探索（MCTS）を用いて変数の部分集合を探索・評価し、関数の改善への潜在的寄与に基づいて変数をランク付けする。
• 各反復において、MCTSは変数の部分集合の上に探索木を構築し、シミュレーションベースのロールアウトを用いて各変数部分集合の期待改善度を推定する。
• 重要と判断された部分集合の変数のみが、任意の標準BOアルゴリズム（例：バニラBO、TuRBO）によって最適化され、重要でないとされる変数は履歴値を用いて固定される。
• この手法は反復ごとに選択された変数集合を動的に適応させることで、関数構造に関する事前知識を必要としない。
• 理論的分析により、既存の結果（例：GP-UCB、ドロップアウト）を一般化するレギュレートと複雑度の上限を導出しており、優れた変数選択がレギュレートと計算コストの低減に寄与することを示している。
• このフレームワークはモジュール式であり、SAASBOなど任意のBOアルゴリズムと組み合わせられ、超高次元設定における最適化をさらに高速化できる。

実験結果

リサーチクエスチョン

• RQ1 MCTSに基づく変数選択は、高次元ベイズ最適化においてランダム選択（例：ドロップアウト）を上回ることができるか？
• RQ2 変数選択は高次元BOにおける累積的レギュレートと計算複雑度にどのように影響するか？
• RQ3 MCTS-VSは高次元関数において意味的で重要な変数を適切に同定できるか？また、その結果として最適化性能が向上するか？
• RQ4 MCTS-VSを高度なBOアルゴリズム（例：SAASBO、TuRBO）と組み合わせることで、解の品質を損なわず著しい高速化が達成できるか？
• RQ5 低サンプル数、高次元BO設定において、MCTS-VSはLASSOなどの非BOベースの変数選択手法よりも優れているか？

主な発見

• MCTS-VSは、すべてのテストされた合成関数（Hartmann 6×300、6×500、Levy 10×100、10×300）において、ドロップアウト法の変数選択を一貫して上回り、平均目的関数値が高くなる。
• Hartmann 6×500では、MCTS-VS-TuRBOが平均目的関数値3.012（±0.434）を達成し、ドロップアウト（2.629）およびLA-MCTS-TuRBO（2.619）を有意に上回り、ウィルコクソン符号順位検定のp値が0.05未満であった。
• Hartmann 6×500において、MCTS-VS-SAASBOはSAASBOに比べて7倍以上の高速化を達成し、次元削減に起因する顕著な実行時間短縮を示した。
• 50回の統計的検定において、MCTS-VS-TuRBOはすべての合成関数でLA-MCTS-TuRBOを有意に上回り、ヒューリスティックな代替手法に比べMCTSベースの選択が優れていることを確認した。
• LASSO-VSはバニラBOを用いた場合、ドロップアウトよりも性能が悪く、限られたサンプル数における線形モデルの適合が不十分であることが原因で、低データBO環境下でのLASSOの限界を示した。
• 重要な変数の同定に成功したことが、一貫した性能向上と探索空間の縮小によって裏付けられており、変数選択の利点に関する理論的分析の妥当性を検証した。