[論文レビュー] Estimating means of bounded random variables by betting

Ian Waudby-Smith, Aaditya Ramdas|arXiv (Cornell University)|Oct 19, 2020

Statistical Methods and Inference被引用数 5

ひとこと要約

本論文は、置換あり・置換なしの両方の設定において、有界確率変数の平均に対する時間に依存しない信頼区間と固定時刻信頼区間を構築する、新しいベッティングに基づくフレームワークを提案する。合成非負の上martingaleと適応的ベッティング戦略を活用することで、Hoeffdingや経験的 Bernstein 不等式といった従来手法よりもタイトな境界を達成し、有界性制約下での平均推定において新たな最先端水準を確立する。

ABSTRACT

This paper derives confidence intervals (CI) and time-uniform confidence sequences (CS) for the classical problem of estimating an unknown mean from bounded observations. We present a general approach for deriving concentration bounds, that can be seen as a generalization and improvement of the celebrated Chernoff method. At its heart, it is based on a class of composite nonnegative martingales, with strong connections to testing by betting and the method of mixtures. We show how to extend these ideas to sampling without replacement, another heavily studied problem. In all cases, our bounds are adaptive to the unknown variance, and empirically vastly outperform existing approaches based on Hoeffding or empirical Bernstein inequalities and their recent supermartingale generalizations. In short, we establish a new state-of-the-art for four fundamental problems: CSs and CIs for bounded means, when sampling with and without replacement.

研究の動機と目的

• 非漸近的・非パラメトリックな設定下で、有界確率変数の平均に対する信頼区間と信頼系列を開発すること。
• 従来の長年の課題であった、順次的分析における「置換なし」のサンプリングにこれらの手法を拡張すること。
• ベッティングにインspiredされた martingale フレームワークを用いて、既存の集中不等式を統一的かつ改善すること。
• 未知の分散に自動的に適応する性能を達成し、従来手法よりも経験的にタイトな境界を実現すること。

提案手法

• ベッティングに基づく資産過程を用いて合成非負上martingaleを構築し、順次的検定と集中不等式を結びつける。
• Cramér-Chernoff 上martingaleに予測可能なプラグイン戦略を適用し、閉形式の信頼集合を可能にする。
• より高い資産成長と信頼集合のタイトさを実現するため、GRAPA（代替に適応する成長率）およびaGRAPAといった適応的ベッティングスキームを導入する。
• 敵対的観測系列に対してもロバスト性を保証するため、ヘッジド資産過程を導出する。
• ハイパージオメトリックに似たサンプリング経路上の martingale として資産過程をモデル化することで、置換なしのサンプリングにフレームワークを適応させる。
• 有限時限および順次的設定における性能向上のため、順次的再調整と多様化された Kelly ベッティングを用いる。

実験結果

リサーチクエスチョン

• RQ1 ベッティングベースのフレームワークは、有界平均に対する従来の Hoeffding 型不等式よりもタイトな信頼系列と信頼区間を生成できるか？
• RQ2 観測間の依存性が martingale の構築を複雑にする「置換なし」の設定において、ベッティングフレームワークはどのように適応可能か？
• RQ3 時間に依存しないおよび固定時刻の両設定において、最適な収束速度とタイトな信頼集合を達成するにはどのようなベッティング戦略が有効か？
• RQ4 提案手法の信頼集合は、経験的 Bernstein や Hoeffding の supermartingale 一般化に基づくものと比較して、経験的にどのように異なるか？
• RQ5 分散や分布形の事前知識がなくとも、適応的性能を達成できるか？

主な発見

• 提案手法のベッティングベース信頼系列および信頼区間は、Hoeffding や経験的 Bernstein 不等式から導かれるものよりも、経験的および理論的にタイトである。
• 未知の分散に自動的に適応する性能を達成しており、事前知識やチューニングを必要としない。
• 置換なしの設定では、ハイパージオメトリック型の資産過程を用いて有効な信頼系列を構築でき、依存性のあるサンプリングへの martingale アプローチの拡張が可能である。
• aGRAPA および ConBo ベッティング戦略は、標準的手法に比べて著しく高い資産成長とよりタイトな信頼集合を実現する。
• 理論的解析により、ベッティング信頼系列が最良のパラメトリックレートに相当する √n 収束速度を達成することが示された。
• シミュレーションでは、提案手法は Howard らの supermartingale 一般化よりも一貫して区間幅が小さく、カバレッジ頻度も優れている。