[論文レビュー] Non-Asymptotic Sequential Tests for Overlapping Hypotheses and application to near optimal arm identification in bandit models

Aurélien Garivier, Emilie Kaufmann|arXiv (Cornell University)|May 9, 2019

Advanced Bandit Algorithms Research参考文献 22被引用数 9

ひとこと要約

本稿は、並列化された一般化尤度比検定（GLRT）を用いて、重複する仮説のための非漸近的逐次検定を考案し、多腕バンディットにおけるPAC最良腕同定に応用する。サンプル複雑度に対するタイトな非漸近的バウンドを確立し、情報理論的議論に基づく下界を提示する。その結果、正則なバンディット例において(ϵ,δ)-PAC基準下で最適性能を達成することが示された。

ABSTRACT

In this paper, we study sequential testing problems with \emph{overlapping} hypotheses. We first focus on the simple problem of assessing if the mean $\mu$ of a Gaussian distribution is smaller or larger than a fixed $\epsilon>0$; if $\mu\in(-\epsilon,\epsilon)$, both answers are considered to be correct. Then, we consider PAC-best arm identification in a bandit model: given $K$ probability distributions on $\mathbb{R}$ with means $\mu_1,\dots,\mu_K$, we derive the asymptotic complexity of identifying, with risk at most $\delta$, an index $I\in\{1,\dots,K\}$ such that $\mu_I\geq \max_i\mu_i -\epsilon$. We provide non-asymptotic bounds on the error of a parallel General Likelihood Ratio Test, which can also be used for more general testing problems. We further propose lower bound on the number of observation needed to identify a correct hypothesis. Those lower bounds rely on information-theoretic arguments, and specifically on two versions of a change of measure lemma (a high-level form, and a low-level form) whose relative merits are discussed.

研究の動機と目的

• 重複仮説の下での逐次検定における非漸近的解析の不足に取り組むこと。特にアクティブラーニング設定において。
• δ-correct最良腕同定を、複数の腕がほぼ最良である可能性があるより実用的な(ϵ,δ)-PACフレームワークに一般化すること。
• 特に測度変更の補題を用いた情報理論的ツールを用いて、非漸近的サンプル複雑度の下界を導出すること。
• 非漸近的下界を満たすように設計された、並列GLRTとトラッキングサンプリングルールを組み合わせた(ϵ,δ)-PAC戦略の設計と分析を行うこと。

提案手法

• 重複仮説の下で複数の仮説が同時に成立しうる状況において、並列一般化尤度比検定（GLRT）を提案する。
• 高レベルおよび低レベルの2種類の測度変更議論を用いて、GLRTの非漸近的誤差バウンドを導出する。
• サンプル複雑度を最小化するための最適割り当てに収束するように、腕に割り当てるプルを適応的に割り当てるトラッキングサンプリングルールを導入する。
• 特徴時間の凸最適化定式化を用いて、期待停止時刻の非漸近的下界を導出する。
• ガウス分布または指数型分布族に従う多腕バンディットモデルにGLRTを適用し、(ϵ,δ)-PAC基準下でδ-correct性を保証する。
• Kullback-Leibler発散を含むミニマックス最適化問題を解くことで、最適なサンプリング重みを求める。特定の条件下では閉形式解が得られる。

実験結果

リサーチクエスチョン

• RQ1 仮説が重複する、つまり複数の仮説が同時に正しい可能性がある状況において、非漸近的バウンドを導出できるか？
• RQ2 高い確率（1−δ）でϵ-最良腕を同定するために、多腕バンディットモデルで必要な最小のサンプル複雑度は何か？
• RQ3 並列GLRTの性能は、(ϵ,δ)-PAC設定下での情報理論的下界と比べてどうか？
• RQ4 正則なバンディット例において、サンプル複雑度の下界に一致するように、トラッキングサンプリングルールを設計できるか？
• RQ5 (ϵ,δ)-PAC設定下での最適なサンプリング重みの構造は何か？そして、それを効率的に計算する方法は何か？

主な発見

• 並列GLRTは、多腕バンディットにおける(ϵ,δ)-PAC最良腕同定においてδ-correct性を達成し、非漸近的誤差バウンドがln(1/δ)に比例してスケーリングされる。
• 情報理論的議論を用いて、期待停止時刻の非漸近的下界を導出し、特徴時間は凸最適化問題の解であることを示した。
• 正則なバンディット例において、トラッキングサンプリングルールを用いた本稿で提案する(ϵ,δ)-PAC戦略は、導出された下界と一致し、漸近的最適性を証明した。
• 最適なサンプリング重みは、KL発散を含むミニマックス最適化問題の解として得られ、逆KL微分を含む方程式系によって特徴づけられる一意の解を持つ。
• 特別な場合、ある腕の平均がµ+ −ϵで、別の腕の平均がµ+であるとき、最適重みは最良腕に全割り当てがなされ、解が単純化される。
• 分析により、重複仮説設定では高レベルの情報理論的推論が失敗することが判明し、タイトなバウンドを得るには低レベルの測度変更議論が必要であることが示された。