[論文レビュー] Decentralized High-Dimensional Bayesian Optimization with Factor Graphs

Trong Nghia Hoang, Quang Minh Hoang+2 more|arXiv (Cornell University)|Nov 19, 2017

Distributed Sensor Networks and Detection Algorithms被引用数 20

ひとこと要約

本稿では、入力成分間の相関をスパース要因グラフでモデル化することで、分散型メッセージパッシングを用いた分散処理による効率的でスケーラブルな獲得関数最適化を可能にする、分散型高次元ベイズ最適化アルゴリズムDEC-HBOを提案する。この手法は、深層学習やガウス過程のハイパーパrameterチューニングといった高次元問題において、既存手法を上回る最先端の性能を達成するとともに、レギュレートなし収束を保証する。

ABSTRACT

This paper presents a novel decentralized high-dimensional Bayesian optimization (DEC-HBO) algorithm that, in contrast to existing HBO algorithms, can exploit the interdependent effects of various input components on the output of the unknown objective function f for boosting the BO performance and still preserve scalability in the number of input dimensions without requiring prior knowledge or the existence of a low (effective) dimension of the input space. To realize this, we propose a sparse yet rich factor graph representation of f to be exploited for designing an acquisition function that can be similarly represented by a sparse factor graph and hence be efficiently optimized in a decentralized manner using distributed message passing. Despite richly characterizing the interdependent effects of the input components on the output of f with a factor graph, DEC-HBO can still guarantee no-regret performance asymptotically. Empirical evaluation on synthetic and real-world experiments (e.g., sparse Gaussian process model with 1811 hyperparameters) shows that DEC-HBO outperforms the state-of-the-art HBO algorithms.

研究の動機と目的

• 既存の高次元ベイズ最適化（HBO）アルゴリズムが強い独立性仮定に依存することによるスケーラビリティと性能の制限を解消すること。
• 低効果次元を仮定しないまま、高次元の目的関数における入力成分間の複雑な相関関係をモデル化すること。
• 理論的性能保証を維持しつつ、分散的に効率的に最適化可能な獲得関数を設計すること。
• 低次元構造に関する事前知識を必要とせずに、高次元設定においてレギュレートなし収束を達成すること。
• 深層ニューラルネットワークやスパースガウス過程のハイパーパrameterチューニングといった実世界の問題に対して、実験的に手法の有効性を検証すること。

提案手法

• 未知の目的関数fを、小さな入力変数の部分集合（重複を許す）を含むランダムな要因関数の和として表現し、それぞれに独立なガウス過程事前分布を割り当てる。
• 入力成分間の依存関係構造を符号化するスパース要因グラフを構築し、各要因内で直接的な依存関係が存在し、共有変数を通じて間接的な依存関係が伝播することを明示する。
• 獲得関数を同じスパース要因グラフ構造に従わせることで、分散型メッセージパッシングアルゴリズムによる分散最適化を可能にする。
• 局所的メッセージの計算に期待伝播アルゴリズムの変種を用い、獲得関数の効率的かつスケーラブルな最大化を実現する。
• 逐次的・反復的にアルゴリズムを適用する：獲得関数を評価し、fの観測値を得て、GPの信念を更新し、更新された信念に基づいて再び獲得関数を再計算する。
• 要因グラフの構造とガウス過程モデルにおけるメッセージパッシングの収束特性を活用することで、理論的レギュレートなし性能を保証する。

実験結果

リサーチクエスチョン

• RQ1 低効果次元を仮定しない高次元ベイズ最適化アルゴリズムは、入力間の相関関係を活用できるか？
• RQ2 目的関数の要因グラフ表現は、表現力の高いモデリングとスケーラブルな最適化を両立できるか？
• RQ3 スパース要因グラフ上で分散型メッセージパッシングを用いることで、高次元空間における獲得関数最大化を効率的に行えるか？
• RQ4 提案手法は、最先端のHBOアルゴリズムを上回りつつ、漸近的にレギュレートなし収束を達成できるか？
• RQ5 深層学習やガウス過程のハイパーパrameterチューニングといった実世界の高次元最適化タスクにおいて、本手法はどのように性能を発揮するか？

主な発見

• 1811個のハイパーパrameterを有するスパースガウス過程モデルのハイパーパラメータチューニングにおいて、DEC-HBOはADD-GP-UCBとREMBOを上回り、最終的なRMSEは4.0437を達成した（ADD-GP-UCB：4.1774、REMBO：9.9100）。
• CIFAR-10における畳み込みニューラルネットワークの実験では、DEC-HBOがテスト誤差0.0950を達成し、ADD-GP-UCBの0.1068およびMF3の0.1107を大きく下回った。
• DEC-HBOの性能向上は、特にベイズ最適化の初期段階で顕著であり、時間制約のある最適化において優れたサンプル効率を示している。
• 独立性仮定や低次元構造を仮定しない手法とは異なり、豊富にモデル化された入力依存効果に対しても、DEC-HBOはレギュレートなし収束を維持している。
• 実験結果から、スパース要因グラフによる相関関係のモデル化が、独立またはランダム埋め込みアプローチに比べて優れた最適化性能をもたらすことが示された。
• 分散型メッセージパッシングフレームワークにより、入力の効果的次元に関する事前知識がなくても、高次元空間におけるスケーラブルな最適化が可能となった。