[論文レビュー] High-Dimensional Bayesian Optimization via Additive Models with Overlapping Groups

Paul Rolland, Jonathan Scarlett+2 more|arXiv (Cornell University)|Feb 20, 2018

Machine Learning and Data Classification被引用数 34

ひとこと要約

本稿では、重複するグループを有する加法的ガウス過程モデルを用いた高次元ベイズ最適化フレームワークを提案する。これにより、複雑な関数のより柔軟なモデリングが可能となる。グループ間の相互作用をグラフで表現し、効率的な受信関数最適化にメッセージスティンングを用いることで、特に顔検出や天体物理学的モデリングといった実世界のタスクにおいて、非重複グループモデルに比べ収束性と性能が向上する。

ABSTRACT

Bayesian optimization (BO) is a popular technique for sequential black-box function optimization, with applications including parameter tuning, robotics, environmental monitoring, and more. One of the most important challenges in BO is the development of algorithms that scale to high dimensions, which remains a key open problem despite recent progress. In this paper, we consider the approach of Kandasamy et al. (2015), in which the high-dimensional function decomposes as a sum of lower-dimensional functions on subsets of the underlying variables. In particular, we significantly generalize this approach by lifting the assumption that the subsets are disjoint, and consider additive models with arbitrary overlap among the subsets. By representing the dependencies via a graph, we deduce an efficient message passing algorithm for optimizing the acquisition function. In addition, we provide an algorithm for learning the graph from samples based on Gibbs sampling. We empirically demonstrate the effectiveness of our methods on both synthetic and real-world data.

研究の動機と目的

• 次元の呪いにより従来の手法が失敗する高次元入力空間へのベイズ最適化のスケーリングの挑戦に応える。
• 従来の加法的モデルが非重複変数グループを仮定するという制限を克服し、複雑な重複する依存関係のモデリングを可能にする。
• 依存関係グラフ上でメッセージスティンングを用いることで、高次元設定における効率的な受信関数最適化戦略を開発する。
• ギブスサンプリングに基づく手法を提案し、データから重複するグループの構造を学習することで、低次元関数成分の適応的モデリングを可能にする。
• 合成関数および実世界の最適化タスクの両方で、顔検出や天体物理学的尤度最大化を含め、性能の向上を実証する。

提案手法

• 高次元関数を、任意の重複する変数部分集合（グループ）上で定義された低次元成分の和としてモデル化する。これにより、従来の非重複グループ仮定を一般化する。
• ノードがグループ、エッジが共有変数を符号化するグラフを用いて、グループ間の関係を表現し、構造的推論を可能にする。
• グラフ構造を活用することで、高次元空間におけるGP-UCB受信関数の最適化に効率的なメッセージスティングアルゴリズムを導出する。
• 観測された関数評価から最適なグラフ構造（すなわちグループ構成）を学習するためのギブスサンプリング手順を設計し、データ駆動による重複依存関係の同定を可能にする。
• 学習されたグラフ構造を受信関数に統合し、高次元における適応的かつスケーラブルな最適化を実現する。
• 本フレームワークを合成関数および実世界の問題（ビオラ＝ジョーンズ顔検出アルゴリズムのパrameterチューニングおよび天体物理学的モデルにおける尤度最大化を含む）に適用する。

実験結果

リサーチクエスチョン

• RQ1 加法的モデルにおける重複グループ構造は、非重複グループモデルに比べ、高次元ベイズ最適化の表現力と性能を向上させるか？
• RQ2 関数が重複する低次元成分の和としてモデル化される場合、高次元空間における受信関数を効率的に最適化する方法は何か？
• RQ3 ノイズのある関数評価から、潜在的なグループ構造（すなわち、各成分を構成する変数は何か）を効果的に学ぶ方法は何か？
• RQ4 実世界の最適化タスクにおいて、本手法は既存のアプローチに比べ、収束速度および最終的な性能で優れているか？
• RQ5 重複グループの使用が、ベイズ最適化における情報量の増加とレグルレーションバウンドに与える理論的意味は何か？

主な発見

• 提案された重複グループ加法的モデルは、合成および実世界の実験において非重複グループモデルを上回り、顔検出における収束速度の高速化と分類精度の向上を達成した。
• ビオラ＝ジョーンズ顔検出タスクでは、'Overlap'モデルが200イテレーション後に93.2%の分類精度を達成し、OpenCVベースラインの92.6%を上回り、'No Overlap'モデルをも凌駕した。
• 15回のランで平均的に累積レグルレーションが著しく低いことが示され、'No Overlap'モデルに比べ、パラメータ空間の探索がより効率的であった。
• ギブスサンプリングに基づく構造学習手法は、特にビオラ＝ジョーンズカスケードの連続する段階間の相関を的確に捉える、意味のある変数グループ化を成功裏に同定した。
• 本手法は実世界の天体物理学的モデリングタスクにおいても有効であり、重複グループ構造を活用することで尤度最大化の性能が向上した。
• 補足資料における理論的分析から、本モデルの情報量増加構造は非重複モデルに比べより好都合であることが示唆されたが、レグルレーションバウンドの導出は依然として困難であるとされた。