[論文レビュー] Near-Optimal Confidence Sequences for Bounded Random Variables

Arun Kumar Kuchibhotla, Qinqing Zheng|arXiv (Cornell University)|Jul 18, 2021

Advanced Bandit Algorithms Research被引用数 1

ひとこと要約

本稿では、Bentkusの集中不等式を用いて、有界確率変数に対する近似的最適な信頼列を提案する。従来のCramér-Chernoffに基づく手法（Hoeffding、Bernstein、Bennettなど）に比べて顕著に性能を向上させた。得られた信頼列は、増加する標本サイズ全体にわたって一様に有効であり、合成的被覆と適応的停止応用において優れた性能を示す。

ABSTRACT

Many inference problems, such as sequential decision problems like A/B testing, adaptive sampling schemes like bandit selection, are often online in nature. The fundamental problem for online inference is to provide a sequence of confidence intervals that are valid uniformly over the growing-into-infinity sample sizes. To address this question, we provide a near-optimal confidence sequence for bounded random variables by utilizing Bentkus' concentration results. We show that it improves on the existing approaches that use the Cram{e}r-Chernoff technique such as the Hoeffding, Bernstein, and Bennett inequalities. The resulting confidence sequence is confirmed to be favorable in both synthetic coverage problems and an application to adaptive stopping algorithms.

研究の動機と目的

• オンライン推論問題において、増加する標本サイズ全体にわたって一様に有効な信頼列を構築する課題に対処すること。
• Hoeffding、Bernstein、Bennett不等式を含む、従来のCramér-Chernoff技術に基づく信頼列を改善すること。
• 有界確率変数に対して、近的最適性を達成する信頼列構築手法を開発すること。

提案手法

• 有界確率変数のためのより鋭い尾部バウンドを導出するために、Bentkusの集中不等式を活用する。
• 改善された集中性質を活用することで、すべての標本サイズにわたって一様に有効な信頼列を構築する。
• 観測されるデータが増えるにつれて次第に狭まる、適応的信頼区間の系列を設計し、無限の時間軸にわたる被覆を保証する。
• Bentkusのバウンドの構造を活用して、正確な被覆保証を維持しながら信頼区間の幅を最小限に抑える。
• 導出された信頼列を逐次的意思決定問題および適応的サンプリング方式に適用する。
• 合成実験と実世界の適応的停止アルゴリズムへの応用を通じて、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 有界確率変数に対する信頼列を、一様に有効であり、かつ従来のCramér-Chernoffに基づく手法よりも狭いものとして構築可能か？
• RQ2 Bentkusの集中不等式の使用は、Hoeffding、Bernstein、Bennett不等式と比較して、信頼区間の幅と被覆確率の観点でどのように異なるか？
• RQ3 提案された信頼列は、適応的停止および逐次検定の状況において、強固な有限標本性能を維持するか？

主な発見

• 提案された信頼列は、幅に関して近的最適性を達成するとともに、すべての標本サイズにわたって一様に有効である。
• Hoeffding、Bernstein、Bennettに基づく信頼列と比較して、本手法は区間幅において顕著に優れている。
• 合成実験により、さまざまな有界分布において、信頼列が正確な被覆確率を維持することが確認された。
• 適応的停止アルゴリズムにおいて、ベースライン手法と比較して、より高い信頼度で早期に停止が可能となった。
• 有界確率変数の枠組み内で、多様なデータ生成プロセスに対して、本信頼列は頑健な性能を示した。