[論文レビュー] Asynchronous Parallel Bayesian Optimisation via Thompson Sampling

Kirthevasan Kandasamy, Akshay Krishnamurthy+2 more|arXiv (Cornell University)|May 25, 2017

Advanced Bandit Algorithms Research参考文献 22被引用数 17

ひとこと要約

本稿では、評価時間のばらつきを考慮した非同期並列ベイズ最適化手法であるasyTSを提案する。時間制約下でも同期型および逐次型手法を上回る性能を発揮し、変動する評価時間のモデル化により、漸近的に低いレグレットを達成する。合成ベンチマークおよび畳み込みニューラルネットワークのハイパーパrameterチューニングにおいて、既存手法を上回る性能を示す。

ABSTRACT

We design and analyse variations of the classical Thompson sampling (TS) procedure for Bayesian optimisation (BO) in settings where function evaluations are expensive, but can be performed in parallel. Our theoretical analysis shows that a direct application of the sequential Thompson sampling algorithm in either synchronous or asynchronous parallel settings yields a surprisingly powerful result: making $n$ evaluations distributed among $M$ workers is essentially equivalent to performing $n$ evaluations in sequence. Further, by modeling the time taken to complete a function evaluation, we show that, under a time constraint, asynchronously parallel TS achieves asymptotically lower regret than both the synchronous and sequential versions. These results are complemented by an experimental analysis, showing that asynchronous TS outperforms a suite of existing parallel BO algorithms in simulations and in a hyper-parameter tuning application in convolutional neural networks. In addition to these, the proposed procedure is conceptually and computationally much simpler than existing work for parallel BO.

研究の動機と目的

• 変動する評価時間を伴う並列コンピューティング環境における逐次的ベイズ最適化の非効率性を解消すること。
• 非同期並列ベイズ最適化の理論的裏付けが強く、計算的に単純な手法を設計すること。
• 時間制約下で、asyTSが逐次型、同期型、および他の並列BO手法よりも低いレグレットを達成することを示すこと。
• 先行研究における空白である、ベイズ最適化における非同期Thompson Samplingの理論的保証を提供すること。
• 合成関数およびディープラーニングにおける実世界のハイパーパrameterチューニングにおいて、asyTSの経験的妥当性を検証すること。

提案手法

• 作業者が協調せずに独立して事後分布からサンプリングし、結果を提出できるようにすることで、逐次のThompson Samplingを非同期並列設定に拡張する。
• 各作業者は、現在の事後分布からのサンプリングと、サンプル関数の最大化によって次の評価点を選択する。
• 評価時間を確率変数としてモデル化し、既知の分布を持つものとすることで、時間に配慮したレグレット解析を可能にする。
• 理論的分析により、同期型および非同期型の両方が、n回の評価をM台の作業者に分配した場合、逐次型TSとほぼ同等のレグレットを達成することが示された。
• 非同期TSは、評価時間のばらつきを効果的に活用できるため、時間予算下で同期型および逐次型バージョンよりも漸近的に低いレグレットを達成することが証明された。
• 追加のハイパーパrameterや計算サブルーチンを必要とせず、逐次型TSの単純さを保ったままである。

実験結果

リサーチクエスチョン

• RQ1 時間制約下で、非同期並列Thompson Samplingは、逐次型および同期型並列BOよりも低いレグレットを達成するか？
• RQ2 逐次型Thompson Samplingを非同期並列実行に直接適応した場合、理論的性能保証を維持できるか？
• RQ3 収束速度および最終的な性能の観点から、asyTSは既存の並列BO手法と比べてどのように異なるか？
• RQ4 変動する評価時間は、並列ベイズ最適化アルゴリズムのレグレットにどのような影響を与えるか？
• RQ5 asyTSは、既存の並列BO手法と比較して、計算的および概念的に単純であると同時に、性能を維持または向上させられるか？

主な発見

• 評価時間のばらつきを効果的に処理できるため、時間制約下で、逐次型および同期型並列BOよりも漸近的に低いレグレットを達成する。
• n回の評価をM台の作業者に分散して実行する際、asyTSはn回の逐次評価とほぼ同等のレグレットを達成する。これは、理論的効率性が非常に高いことを示している。
• 合成実験では、synTS、seqTS、およびEI、HUCB、RANDなどの他の並列BO手法と比較して、収束速度および最終的な目的関数値の両面でasyTSが優れている。
• Cifar-10のハイパーパラメータチューニングタスクでは、asyTSは平均で80～88回の評価で十分であり、asyRAND（93～105回）およびasyEI（83～92回）よりも著しく少ない評価回数で達成されており、優れたサンプル効率性を示している。
• 提案手法は、既存のアプローチよりも概念的および計算的に単純であり、追加のハイパーパラメータや複雑なサブルーチンを必要としない。
• 理論的分析により、評価時間が確率的かつ不均一であっても、asyTSが強い性能保証を維持することが確認された。