[論文レビュー] Joint Optimization and Variable Selection of High-dimensional Gaussian Processes

Bo Chen, Rui M. Castro+1 more|arXiv (Cornell University)|Jun 27, 2012

Gaussian Processes and Bayesian Inference参考文献 7被引用数 38

ひとこと要約

本論文は、潜在関数におけるスパarsityを活用することで、高次元ガウス過程（GPs）の連合最適化と変数選択フレームワークを提案する。未知関数をわずかに関連する変数を持つGPとしてモデル化し、これらの変数を同時に同定し関数を最適化する、新しいアルゴリズムを用いる。サンプルの複雑さおよびレグレットの境界に関する強力な理論的保証を達成し、ベンチマーク問題において実証的に検証されている。

ABSTRACT

Maximizing high-dimensional, non-convex functions through noisy observations is a notoriously hard problem, but one that arises in many applications. In this paper, we tackle this challenge by modeling the unknown function as a sample from a high-dimensional Gaussian process (GP) distribution. Assuming that the unknown function only depends on few relevant variables, we show that it is possible to perform joint variable selection and GP optimization. We provide strong performance guarantees for our algorithm, bounding the sample complexity of variable selection, and as well as providing cumulative regret bounds. We further provide empirical evidence on the effectiveness of our algorithm on several benchmark optimization problems.

研究の動機と目的

• ノイズのある観測による高次元で非凸な関数の最適化という課題に対処すること。
• 未知関数がわずかに関連する変数に依存すると仮定すること。
• 変数選択と関数最適化を同時に実行する統合アルゴリズムの開発。
• サンプルの複雑さおよび累積レグレットの境界を含む理論的性能保証の提供。
• 標準的なベンチマーク最適化問題における提案手法の有効性の実証的検証。

提案手法

• 未知関数を、入力変数にスパースな事前分布を用いた高次元ガウス過程からのサンプルとしてモデル化する。
• GPのハイパーパrameter推定と最も関連性の高い変数の選択を交互に繰り返す連合最適化戦略を用いる。
• スパース性を促進するための事前分布を組み込む。
• 最適化段階におけるアクティブラーニングのために、期待改善または類似の獲得関数を活用する。
• 正しい変数選択に必要なサンプル数および時間経過に伴う累積レグレットの理論的境界を導出する。
• 探索と活用のバランスを保ちながら関連する次元に焦点を当てる逐次的実験設計アプローチを適用する。

実験結果

リサーチクエスチョン

• RQ1 高次元ガウス過程における連合変数選択と最適化は、強力な理論的保証を伴って達成可能か？
• RQ2 高次元GP設定において、関連する変数を正しく特定するために必要な最小サンプル数は何か？
• RQ3 連合最適化と選択アルゴリズムの累積レグレットは、次元数とノイズの増加に伴ってどのようにスケーリングされるか？
• RQ4 提案手法は、分離された変数選択と最適化アプローチを上回る実用的性能を示せるか？
• RQ5 高次元関数最適化において、ノイズやモデル不適合に対して、この手法はどれほど頑健か？

主な発見

• 提案されたアルゴリズムは、無関係な変数の数に対して対数的にスケーリングするサンプルの複雑さの境界を達成しており、効率的な変数同定を示している。
• 累積レグレットの境界は時間に対して非線形的に増加し、逐次的観測における効果的な学習を示している。
• 実証的結果から、この手法は標準的な高次元最適化問題においてベースライン手法を上回ることが示された。
• 仮定されたスパースネスモデル下で、真の関連変数が高確率で正しく同定された。
• 連合最適化と変数選択フレームワークは、分離戦略に比べて収束が速く、性能が向上した。
• 理論的分析により、ノイズに対して頑健であり、モデル不確実性下でも強力な性能を維持することが確認された。