[論文レビュー] Variance-adaptive confidence sequences by betting

Ian Waudby-Smith, Aaditya Ramdas|arXiv (Cornell University)|Oct 19, 2020

Statistical Methods and Inference被引用数 5

ひとこと要約

本稿では、ベッティングと混合手法にインspiredされた新しいマーティングルベースのアプローチを用いて、有界確率変数に対する分散適応型信頼区間系列を導入する。合成非負マーティングルを構築することで、有限標本設定においてホエーディングの不等式や経験的ベルヌーイの不等式を凌駕する、よりタイトで適応的な信頼区間を達成する。

ABSTRACT

This paper derives confidence intervals (CI) and time-uniform confidence sequences (CS) for an unknown mean based on bounded observations. Our methods are based on a new general approach for deriving concentration bounds, that can be seen as a generalization (and improvement) of the classical Chernoff method. At its heart, it is based on deriving a new class of composite nonnegative martingales with initial value one, with strong connections to betting and the method of mixtures. We show how to extend these ideas to sampling without replacement. In all cases considered, the bounds are adaptive to the unknown variance, and empirically outperform competing approaches based on Hoeffding's or empirical Bernstein's inequalities and their recent supermartingale generalizations.

研究の動機と目的

• 未知の分散に適応する有界確率変数の平均に対する時間一様型信頼区間系列（CS）の開発。
• ホエーディングの不等式や経験的ベルヌーイの不等式といった古典的集中不等式を、分散適応性を組み込むことで改善すること。
• ベッティングにインspiredされたマーティングルフレームワークを用いて、古典的チェルノフ法を一般化・強化すること。
• 提案手法を無作為抽出なしの状況にまで拡張すること。
• 既存のスーパーマーティングルベースの手法と比較して、有限標本での優れた性能を実証的に検証すること。

提案手法

• ベッティング戦略と混合手法に基づいて、初期値が1の新しい合成非負マーティングルのクラスを構築する。
• これらのマーティングルを用いて、有界観測の未知分散に適応する集中不等式を導出する。
• この手法を無作為抽出ありおよびなしの両方の状況に適用し、逐次的および有限母集団設定への適用可能性を拡張する。
• ベッティングにインスパイアされたフレームワークを用いて分散情報を組み込むことで、古典的チェルノフ法を一般化する。
• マーティングル性が時間経過とともに保持されることを保証することで、時間一様型信頼区間系列を導出する。これにより逐次的推論が可能になる。
• 複数のベッティング戦略を混合するアプローチを採用し、境界の頑健性とタイトさを向上させる。

実験結果

リサーチクエスチョン

• RQ1 ベッティングにインスパイアされたマーティングルフレームワークは、古典的手法よりもタイトで分散適応型の信頼区間系列を生成できるか？
• RQ2 有限標本設定において、提案手法はホエーディングの不等式や経験的ベルヌーイの不等式と比べてどのように性能を発揮するか？
• RQ3 無作為抽出なしの状況への拡張において、分散適応性を維持できる範囲はどの程度か？
• RQ4 新たなマーティングル構築法は、既存の集中不等式のスーパーマーティングル一般化を上回ることができるか？
• RQ5 信頼区間系列を導出する際、混合に基づくアプローチの理論的・実証的利点は何か？

主な発見

• 提案手法は、有界観測の未知分散に適応する信頼区間系列を生成し、よりタイトな区間をもたらす。
• 実験的結果から、有限標本設定においてホエーディングの不等式や経験的ベルヌーイの不等式を上回る性能が示された。
• 境界幅とカバレッジの安定性の観点から、最近の集中不等式のスーパーマーティングル一般化を上回る性能を発揮した。
• ベッティングにインスパイアされたマーティングル構築法により、事前の知識なしに分散情報を自然かつ効果的に組み込む方法が可能になった。
• 無作為抽出なしへの拡張は理論的保証を維持するとともに、有限母集団設定における実用的性能を向上させた。
• 混合手法を用いて導出された合成非負マーティングルは、時間一様推論のための頑健で柔軟な基盤を提供する。