[論文レビュー] BOCK : Bayesian Optimization with Cylindrical Kernels

ChangYong Oh, Efstratios Gavves+1 more|arXiv (Cornell University)|Jun 5, 2018

Gaussian Processes and Bayesian Inference参考文献 33被引用数 34

ひとこと要約

BOCKは、探索空間の幾何構造を円筒変換によって再形状することで、境界へのエントロピー的バイアスを低減し、中心部に最適化の注力を行う画期的なベイズ最適化フレームワークを導入している。500次元のニューラルネットワーク層や確率的深さのResNetのハイパーパrameter最適化において、精度と効率の両面で最先端の性能を達成している。

ABSTRACT

A major challenge in Bayesian Optimization is the boundary issue (Swersky, 2017) where an algorithm spends too many evaluations near the boundary of its search space. In this paper, we propose BOCK, Bayesian Optimization with Cylindrical Kernels, whose basic idea is to transform the ball geometry of the search space using a cylindrical transformation. Because of the transformed geometry, the Gaussian Process-based surrogate model spends less budget searching near the boundary, while concentrating its efforts relatively more near the center of the search region, where we expect the solution to be located. We evaluate BOCK extensively, showing that it is not only more accurate and efficient, but it also scales successfully to problems with a dimensionality as high as 500. We show that the better accuracy and scalability of BOCK even allows optimizing modestly sized neural network layers, as well as neural network hyperparameters.

研究の動機と目的

• 高次元において指数関数的に体積が増加するため、探索空間の境界付近に過剰に評価が集中するベイズ最適化における境界問題に対処すること。
• 高次元空間におけるガウス過程に基づくベイズ最適化の効率性と正確性を向上させること。
• ニューラルネットワークの層やハイパーパrameterのような複雑な高次元関数の効果的最適化を可能にすること。
• 標準的手法が失敗する500次元までの問題にまでベイズ最適化のスケーラビリティを示すこと。

提案手法

• ボールをシリンダーに写像する円筒変換を用いて探索空間を変換し、半径方向の距離にわたって体積を一様に再分配すること。
• 変換された空間で径方向カーネルを適用して補間関数をモデル化し、各円環に等しい体積が割り当てられ、境界へのエントロピー的力が解消されることを保証すること。
• 座標変換を用いて元の最適化問題を中心がより有利になる新しい空間に変換し、ガウス過程補間の構造を保持すること。
• 幾何的変換を組み込んだ新しい円筒カーネルを定義し、変換された空間で正確かつ安定した回帰を可能にすること。
• 期待改善（Expected Improvement）などの獲得関数を用いた標準的なベイズ最適化パイプラインに円筒カーネルを統合すること。
• 収束性とサンプル効率を向上させるために、中心付近の拡張と境界付近の収縮をバランスさせる変換パラメータを最適化すること。

実験結果

リサーチクエスチョン

• RQ1 探索空間における幾何的変換が、高次元ベイズ最適化における境界へのエントロピー的バイアスを低減できるか？
• RQ2 円筒変換がガウス過程に基づくベイズ最適化の正確性とサンプル効率に与える影響は何か？
• RQ3 BOCKは、標準的手法が失敗する高次元問題（最大500次元）を最適化できるか？
• RQ4 BOCKは、ニューラルネットワークの層やハイパーパラメータの最適化において、標準的手法を上回る性能を示せるか？
• RQ5 BOCKは、深層学習のハイパーパラメータ最適化において、Adamのような標準的手法よりも優れた一般化性能や性能を達成できるか？

主な発見

• BOCKは、特に高次元設定において、最先端のベイズ最適化ベースラインよりも高い正確性と効率性を達成している。
• BOCKは、500次元のニューラルネットワーク層を効果的に最適化し、Adamを用いたSGDと同等のテスト損失を達成しているが、テストセットへの過学習が見られた。
• 200次元および500次元の実験では、5回の実行においてBOCKはAdamベースのSGDと同等またはそれを上回り、強固さとスケーラビリティを示した。
• BOCKはCIFAR-100上でStochastic Depth ResNet-110の死滅率ベクトルをハイパーパラメータ最適化し、50回の評価で75.21%の検証精度を達成し、期待される深さを74.51にまで低減した。
• 最適化されたSDResNetは、ベースライン（74.90%）よりもわずかに高いテスト精度（75.06%）を達成しながらも、より浅いネットワークを用いており、効率性と性能の両方が向上していることが示された。