[論文レビュー] Bayesian Optimization with Shape Constraints

Michael Jauch, Víctor Peña|arXiv (Cornell University)|Dec 28, 2016

Advanced Multi-Objective Optimization Algorithms参考文献 11被引用数 5

ひとこと要約

本稿では、勾配過程の部分的微分に制約を課すことにより、最適化の安定性と収束速度を向上させる形状制約付きベイズ最適化フレームワークを提案する。このフレームワークは、ガウス過程事前分布に単調性、凸性、擬凸性といった形状制約を組み込むことで、ハイパーパrameterチューニングおよび意思決定分析における最適化効率を向上させる。SVMのハイパーパrameterチューニングおよび二項分布のサンプルサイズ選定の両設定において、制約なしのベイズ最適化と比較して優れた性能を示した。

ABSTRACT

In typical applications of Bayesian optimization, minimal assumptions are made about the objective function being optimized. This is true even when researchers have prior information about the shape of the function with respect to one or more argument. We make the case that shape constraints are often appropriate in at least two important application areas of Bayesian optimization: (1) hyperparameter tuning of machine learning algorithms and (2) decision analysis with utility functions. We describe a methodology for incorporating a variety of shape constraints within the usual Bayesian optimization framework and present positive results from simple applications which suggest that Bayesian optimization with shape constraints is a promising topic for further research.

研究の動機と目的

• 標準的なベイズ最適化において形状に配慮した事前分布が不足している問題に対処すること、特に関数の形状に関する事前知識がある場合に有効であるようにすること。
• 正則化パラメータに擬凸性制約を組み込むことで、機械学習モデルのハイパーパrameterチューニングにおける最適化効率を向上させること。
• 合理的選択理論に基づき、効用関数に単調性および凸性制約を課すことにより、意思決定分析の性能を向上させること。
• 離散的な点における微分条件を用いて形状制約を強制する実用的なGPベースのフレームワークを開発すること。これにより、病理的な制約付きサンプルパスを回避する。
• 形状制約付きベイズ最適化が、収束速度および頑健性の観点で制約なし手法を上回ることを実証的に示すこと。

提案手法

• ハイパーパramータに階層的カイ二乗priorを用いた二乗指数カーネルを採用し、柔軟かつ正則化されたGPモデリングを可能にする。
• 関数の部分的微分を有限個の点で制約することで、単調性、凸性、擬凸性といった形状制約を課す。微分過程の同時ガウス性を活用する。
• 制約を満たすサンプルパスを生成するために、再起 rejection sampling および切断正規分布サンプリング（Rパッケージ TruncatedNormal を使用）を採用する。
• ハイパーパラメータ推定に部分尤度アプローチを用い、計算効率を高めるためにStanからの事後中央値を用いる。
• 獲得関数として期待改善を用い、観測済みデータ点および100個の追加のmaximinラテンハイパーボリューム設計点において制約を強制する。
• 関数と微分の評価のための共分散行列を式 (1) を用いて構築し、制約下での多変量ガウス分布推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 擬凸性などの形状制約が、ハイパーパラメータチューニングにおけるベイズ最適化の収束性および頑健性を向上させ得るか？
• RQ2 期待効用関数面に凸性や単調性を課すことにより、ベイズ実験設計の性能にどのような影響を与えるか？
• RQ3 サンプルパスを過剰に制約しない範囲で、GPに対する微分に基づく制約が、グローバルな形状行動をどの程度正確に近似できるか？
• RQ4 一般化誤差曲線がU字型であるという事前知識を組み込むことで、SVMのハイパーパラメータ最適化がより速くかつ信頼性高く実行可能になるか？
• RQ5 不確実性の低減および最小期待損失の観点で、形状制約付きベイズ最適化は制約なし手法と比べてどの程度優れているか？

主な発見

• 二項分布のサンプルサイズ問題において、形状制約付きGPは制約なしGPよりも低い最小事後期待損失を達成し、50個の異なる初期点においても頑健性が向上した。
• SVMハイパーパラメータチューニングの実験では、擬凸制約付きGPがより早く安定化し、交差検証誤差の推定最小値における不確実性が制約なしバージョンより低かった。
• 形状制約によりグローバルな外挿が可能になったことから、特に初期段階の反復において収束が速く、事後分散が低減された。
• 100か所の点で部分的微分を制約することで、SVM誤差面に擬凸性を効果的に強制し、より信頼性の高い最適化経路を達成した。
• 擬凸性制約に再起 rejection sampling を用いることで、実験において実用的な応用に十分な計算効率が得られた。
• 結果から、形状制約が効用関数における系統的なエリシットバイアスを是正し、ノイズが多く高次元な設定下でも最適化の安定性を向上させられると示唆された。