[論文レビュー] Multiple Adaptive Bayesian Linear Regression for Scalable Bayesian Optimization with Warm Start

Valerio Perrone, Rodolphe Jenatton+2 more|arXiv (Cornell University)|Dec 8, 2017

Gaussian Processes and Bayesian Inference参考文献 21被引用数 15

ひとこと要約

本稿では、複数のタスクにまたがるスケーラブルなベイジアン最適化（BO）と転移学習を可能にする、共有ニューラルネットワークを用いた複数の適応的ベイジアン線形回帰（ABL-R）を提案する。深層特徴表現とタスク固有の線形モデルを同時に学習することで、ガウス過程とは異なりデータサイズに比例して線形にスケーリングされる。また、関連するタスクからの過去の評価結果を活用したウォームスタートBOが可能となり、ハイパーパramータ最適化における収束が著しく高速化される。

ABSTRACT

Bayesian optimization (BO) is a model-based approach for gradient-free black-box function optimization. Typically, BO is powered by a Gaussian process (GP), whose algorithmic complexity is cubic in the number of evaluations. Hence, GP-based BO cannot leverage large amounts of past or related function evaluations, for example, to warm start the BO procedure. We develop a multiple adaptive Bayesian linear regression model as a scalable alternative whose complexity is linear in the number of observations. The multiple Bayesian linear regression models are coupled through a shared feedforward neural network, which learns a joint representation and transfers knowledge across machine learning problems.

研究の動機と目的

• ガウス過程ベースのベイジアン最適化がデータサイズに比例して立方的にスケーリングされ、過去の評価結果の再利用が制限されるというスケーラビリティのボトル neck を解消すること。
• 異なるデータセットや機械学習ワークフローといった複数の関連タスクからの知識を活用することで、ベイジアン最適化における効果的な転移学習を可能にすること。
• 観測数に比例して線形にスケーリングされ、大規模な展開に適した、ベイジアン手法の不確実性評価を維持するモデルの開発。
• 特徴表現（ニューラルネットワークを介して）とタスク固有のベイジアン線形モデルを同時に最適化することで、分離された事前学習ステップを回避すること。

提案手法

• 本手法は、複数のタスクにまたがる入力から、タスクに依存しない深層特徴表現を学習する共有の順方向ニューラルネットワークを用いる。
• 各タスクは、共有ニューラルネットワークの出力を入力として、重みと精度パラメータを持つ別個のベイジアン線形回帰（BLR）でモデル化される。
• 共同目的関数は、すべてのタスクにおける対数周辺尤度の合計を最大化することで、原理的かつ整合性のある不確実性伝搬を伴うエンドツーエンドの学習を可能にする。
• 事後分布推論は解析的に扱える：予測の平均と分散は、観測データとモデルハイパーパramータに基づく閉形式のガウス更新式を用いて計算される。
• 複数の出力（例：検証精度、学習時間）を別々の精度パラメータでモデル化することで、異種信号の処理が可能である。
• ランダムフーリエ特徴（RFF）と標準的なガウス過程（GP）と比較することで、本手法は転移学習設定下で優れたスケーラビリティと性能を示した。

実験結果

リサーチクエスチョン

• RQ1 データサイズに立方的にスケーリングするコストを伴わず、転移学習を可能にするスケーラブルなベイジアンモデルを設計できるか？
• RQ2 深層特徴表現とタスク固有のベイジアン線形モデルを同時に学習することは、分離された事前学習と微調整の手法と比較して、最適化効率にどのような差を生じるか？
• RQ3 関連するタスク（例：異なるデータセットや信号）からの知識をどれだけ活用できるか、ハイパーパramータ最適化における収束加速に寄与するか？
• RQ4 複数の異種信号（例：精度と学習時間）を組み込むことで、単一出力モデルと比較してベイジアン最適化の性能が向上するか？

主な発見

• 29個の関連タスクからのデータでウォームスタートされた状態で、ニューラルネットワークベースのABL-Rは、単純なABL-RやGPベースのBOと比較して、ハイパーパラメータ最適化においてより速い収束を達成した。
• 本手法は観測数に比例して線形にスケーリングされ、75万件を超える合計評価を含む大規模データセットへの適用が可能であるのに対し、GPベースの手法はスケールが大きくなると実行不可能になる。
• D=100のランダムフーリエ特徴（RKS）と比較して、ニューラルネットワークベースの特徴表現が優れた性能を示したが、RKSは高速であるにもかかわらず、これは学習済み表現が転移学習に効果的であることを示している。
• 文脈情報（例：データセットサイズ）を組み込むことで一貫した改善が得られなかったため、以降の実験では単純化のため省かれた。
• 多信号チューニング（例：検証精度、学習時間）において、側面信号を組み込むことで、LIBSVMデータセットにおけるABLRベースのハイパーパラメータ最適化の収束が加速した。
• 対数周辺尤度の最大化により、ニューラルネットワークとBLRモデルを同時に学習するアプローチが、二段階のアプローチ（まず二乗損失でネットワークを事前学習し、その後BLRに切り替える）を上回った。