[論文レビュー] Empirical Bayes Regret Minimization

Chih‐Wei Hsu, Branislav Kveton+3 more|arXiv (Cornell University)|Apr 4, 2019

Advanced Bandit Algorithms Research参考文献 48被引用数 7

ひとこと要約

本稿では、サンプリングされた問題インスタンス分布上で平均リグレットを最小化することによってバンディットアルゴリズムのハイパーパrameterをチューニングする、経験的ベイズリグレット最小化という手法を提案する。Novelでサンプル効率の高いアルゴリズムであるNoTeSを用いることで、マルチアーム、線形、一般化線形バンディットにおいて、調整可能なパrameterにおける単峰性のリグレット行動を活用し、ベイズリグレットを最大で4倍まで低減した。

ABSTRACT

Most bandit algorithm designs are purely theoretical. Therefore, they have strong regret guarantees, but also are often too conservative in practice. In this work, we pioneer the idea of algorithm design by minimizing the empirical Bayes regret, the average regret over problem instances sampled from a known distribution. We focus on a tractable instance of this problem, the confidence interval and posterior width tuning, and propose an efficient algorithm for solving it. The tuning algorithm is analyzed and evaluated in multi-armed, linear, and generalized linear bandits. We report several-fold reductions in Bayes regret for state-of-the-art bandit algorithms, simply by optimizing over a small sample from a distribution.

研究の動機と目的

• 理論的に最適ではあるが、あまりに保守的すぎて実用的性能に欠けるバンディットアルゴリズムとのギャップを埋めること。
• 最悪ケースのリグレット最適化の代替として、問題インスタンスの分布上での平均リグレットを最小化することにより、実用的な代替手法を提案すること。
• 信頼区間や事後分布の幅といった重要なハイパーパrameterをチューニングする計算効率の良いアルゴリズムを設計すること。
• 線形および一般化線形バンディットを含む構造的バンディット設定において、本手法の実証的妥当性を検証すること。
• 問題インスタンス分布に強い仮定を必要としない状況でも、経験的ベイズリグレット最小化が顕著な性能向上をもたらすことを示すこと。

提案手法

• 本手法は、既知の分布から抽出された問題インスタンスの有限サンプル上での平均リグレットを最小化することを目的とする、バンディットアルゴリズムのハイパーパrameterチューニングを経験的ベイズリグレット最小化として定式化する。
• 本手法は、信頼区間幅とUCBおよびトムソンサンプリングアルゴリズムにおける事後分布の幅という、取り扱いやすい2つのチューニング問題に焦点を当てる。
• 提案されたNoTeSアルゴリズムは、調整可能なパrameterにおけるリグレットの単峰性構造を活用し、微分を用いない反復的探索によって近似的最適な設定を効率的に特定する。
• NoTeSは固定予算設定を採用し、サンプルされた問題インスタンスにおけるリグレット評価に基づくラインサーチ戦略を適用することで、サンプルおよび計算の両面で効率性を確保する。
• 固定予算設定下での理論的分析により、単峰性の下で収束保証が確立されている。
• 実験的評価では、既知の分布から問題インスタンスをサンプリングし、NoTeSによるチューニング前後でのベイズリグレットを測定する。

実験結果

リサーチクエスチョン

• RQ1 経験的ベイズリグレット最小化を用いたバンディットアルゴリズムのハイパーパrameterチューニングは、多様なバンディット設定において平均リグレットを顕著に低減できるか？
• RQ2 チューニングされたバンディットアルゴリズムのリグレットは、調整可能なパrameterに関して単峰性を示すか？これにより効率的な最適化が可能になるか？
• RQ3 順次半分法などの既存のチューニングベースラインと比較して、提案されたNoTeSアルゴリズムのリグレット低減性能およびサンプル効率はどの程度優れているか？
• RQ4 経験的ベイズリグレット最小化は、線形および一般化線形バンディットにおける最先端のバンディットアルゴリズム（例：LinUCBやLinTS）をどの程度改善できるか？
• RQ5 問題インスタンス分布からのサンプルが限られている状況でも、本手法は強力な事前仮定を必要とせずに効果的に適用可能か？

主な発見

• NoTeSを用いたLinUCBおよびLinTSのチューニングにより、わずか50個のサンプル問題インスタンスでも、チューニングされていないベースラインと比較してベイズリグレットが最大で4倍まで低減された。
• 1000個のサンプル問題インスタンスの時点で、チューニング済みアルゴリズムのベイズリグレットは理論的最小値に近づき、収束性と有効性が強く示された。
• 全テスト設定において、リグレットのランドスケープは一貫して単峰性を示し、NoTeSアルゴリズムが最適ハイパーパrameterを効率的に特定できるという核心的仮定が妥当であることが裏付けられた。
• NoTeSアルゴリズムは最小限の計算オーバーヘッドで顕著なリグレット低減を達成し、順次半分法などのベースライン手法よりもリグレット低減性能およびサンプル効率の両面で優れた性能を示した。
• 経験的ベイズリグレット最小化は、マルチアーム、線形、一般化線形バンディットのあらゆる設定で測定可能な性能向上をもたらし、広範な適用可能性を示した。
• 調整可能なパrameterにおけるリグレットの滑らかさから、ベイズリグレットの勾配ベース最適化が実現可能である可能性が示唆され、今後のチューニング手法の新たな道筋が開かれた。