[論文レビュー] Bayesian Optimization for Parameter Tuning of the XOR Neural Network

Lawrence Stewart, Mark A. Stalzer|arXiv (Cornell University)|Sep 22, 2017

Gaussian Processes and Bayesian Inference参考文献 8被引用数 3

ひとこと要約

本稿では、3層のニューラルネットワークがXOR関数を学習する際のハイパーパrameterチューニングを自動化するために、ガウス過程事前分布を用いたベイズ最適化を提案する。学習率（η）と活性化関数スケーリング（θ）をチューナブルパラメータとして用いる。本手法は、ランダムグリッドサーチと比較して、はるかに少ない評価回数（6回 vs. 20回）と短い実行時間（0.60秒 vs. 1.54秒）で、顕著に高い精度（MSE = 0.1767）を達成し、最適パラメータへの収束が効率的であることを示している。

ABSTRACT

When applying Machine Learning techniques to problems, one must select model parameters to ensure that the system converges but also does not become stuck at the objective function's local minimum. Tuning these parameters becomes a non-trivial task for large models and it is not always apparent if the user has found the optimal parameters. We aim to automate the process of tuning a Neural Network, (where only a limited number of parameter search attempts are available) by implementing Bayesian Optimization. In particular, by assigning Gaussian Process Priors to the parameter space, we utilize Bayesian Optimization to tune an Artificial Neural Network used to learn the XOR function, with the result of achieving higher prediction accuracy.

研究の動機と目的

• 限られた評価予算下でのニューラルネットワークのハイパーパrameterチューニングを自動化すること。
• 勾配降下法における学習率（η）と活性化関数スケーリング（θ）の非効率な手動チューニングの課題に対処すること。
• ベイズ最適化が、XOR関数学習における収束速度と精度の面でランダムグリッドサーチを上回るかを評価すること。
• ガウス過程事前分布と下位信頼区間（LCB）の利用が、ニューラルネットワークハイパーパrameterのブラックボックス最適化に適しているかを実証すること。
• より深いネットワークや高次元パラメータ空間を持つより複雑なアーキテクチャへも適用可能なスケーラブルなフレームワークを提供すること。

提案手法

• パラメータ空間P = (0.001,1) × (0.001,1) におけるηとθの2次元空間上で、ニューラルネットワークの性能をブラックボックス目的関数Γ_Nξ: P → ℝとしてモデル化する。
• 2乗指数カーネルを用いたガウス過程事前分布を導入し、パラメータ空間上の不確実性をモデル化する。
• 次回の評価点選択における探索と活用のバランスを図るために、下位信頼区間（LCB）の利用関数を用いる。
• 計算コストを低減するために、コレスキー分解を用いた行列更新手法を採用し、効率的なGP推論を実現する。
• 固定された20回の評価予算下で、ベイズ最適化とランダムグリッドサーチを比較する。
• 各パラメータ設定の性能指標として、1,000エポックの学習における平均二乗誤差（MSE）を用いる。

実験結果

リサーチクエスチョン

• RQ1 限られた評価回数で、ガウス過程事前分布を用いたベイズ最適化が、XOR問題におけるニューラルネットワークハイパーパrameter（ηとθ）のチューニングを効果的に行えるか。
• RQ2 XORネットワーク学習において、ベイズ最適化はランダムグリッドサーチと比較して、収束速度と最終的精度の面で優れているか。
• RQ3 この文脈において、下位信頼区間（LCB）の利用関数が、ランダムサンプリングに比べてより速い収束とより良い一般化性能をもたらすか。
• RQ4 ベイズ最適化を用いる場合と、網羅的またはランダムサーチを用いる場合の、評価コストと性能向上のトレードオフは何か。
• RQ5 このフレームワークは、より高次元のハイパーパramータ空間や、より複雑なネットワークアーキテクチャへ拡張可能か。

主な発見

• ベイズ最適化は、わずか6回の評価で最終的なテストMSE 0.1767を達成し、ランダムグリッドサーチを著しく上回った。
• ランダムグリッドサーチは20回の評価を要してMSE 0.2681に達したが、収束が遅く、精度も低かった。
• ベイズ最適化は0.6012秒で完了し、ランダムサーチの1.5411秒と比較して61％の実行時間短縮を達成した。
• MSE 0.190に到達するため、ランダムサーチは2,034回の評価と121.8秒を要した。これは、その非効率性を強調している。
• ランダムサーチは、テスト範囲内でベイズ最適化のMSE 0.1767に到達できず、ベイズアプローチの優位性を裏付けた。
• LCB利用関数は、効果的な探索とグローバル最小値への迅速な収束を可能にし、本問題に適していることが検証された。