[論文レビュー] Confidence sequences for sampling without replacement

Ian Waudby-Smith, Aaditya Ramdas|arXiv (Cornell University)|Jun 8, 2020

Machine Learning and Algorithms参考文献 21被引用数 9

ひとこと要約

本稿は、有限母集団からの無作為抽出（復元抽出でない場合）に対して、事前分布と事後分布の比をマルティンググールとして用いる、独創的なベイズ的枠組みに基づく信頼区間系列（CS）を導入する。時間に一様なホフディング型および経験的ベルンシュタイン型CSを導出し、時間とともに収縮する信頼区間を提供し、真のパラメータを高い確率で一様にカバーする。従来の境界と比較して、復元抽出でない抽出の利点を明示的に定量化することで、著しく優れた性能を達成する。

ABSTRACT

Many practical tasks involve sampling sequentially without replacement (WoR) from a finite population of size $N$, in an attempt to estimate some parameter $θ^\star$. Accurately quantifying uncertainty throughout this process is a nontrivial task, but is necessary because it often determines when we stop collecting samples and confidently report a result. We present a suite of tools for designing confidence sequences (CS) for $θ^\star$. A CS is a sequence of confidence sets $(C_n)_{n=1}^N$, that shrink in size, and all contain $θ^\star$ simultaneously with high probability. We present a generic approach to constructing a frequentist CS using Bayesian tools, based on the fact that the ratio of a prior to the posterior at the ground truth is a martingale. We then present Hoeffding- and empirical-Bernstein-type time-uniform CSs and fixed-time confidence intervals for sampling WoR, which improve on previous bounds in the literature and explicitly quantify the benefit of WoR sampling.

研究の動機と目的

• 無作為抽出（復元抽出でない）の逐次的サンプリングにおいて、任意の停止時刻においても一様に有効な信頼区間系列（CS）を開発すること。
• データ収集中に繰り返し結果を確認する際の不正確な不確実性評価（p-hacking や過信）を回避するため、有効な不確実性評価を維持することの挑戦に取り組むこと。
• 復元抽出と比較して、無作為抽出による統計的利点を特定し、特に信頼区間の幅が狭くなる点を定量化すること。
• 有限母集団におけるカテゴリカルデータおよび有界連続データに対して、計算的に効率的で閉形式の信頼区間系列を提供すること。
• 従来の不等式（ホフディング、経験的ベルンシュタイン）を無作為抽出の文脈に統合・拡張し、文献に既存の境界を上回る性能を改善すること。

提案手法

• 真のパラメータにおける事前分布と事後分布の比をマルティンググールとして用い、ベイズ的手法を用いて頻度的信頼区間系列を構築する。
• 共役事前分布を活用し、事前分布から事後分布への比がしきい値未満となるパラメータの集合を計算することで、カテゴリカルデータに対する事前-事後比（PPR）CSを導出する。
• 有界実数値観測値に対して、集中不等式に基づく下界マルティンググール構成を用いて、時間に一様なホフディング型および経験的ベルンシュタイン型CSを構築する。
• 無作為抽出のモデルに下界マルティンググール理論を適用し、抽出プロセスが予測可能なかけあい構造を生じることを考慮する。
• ホフディングおよび経験的ベルンシュタインの境界における調整パラメータ（例：λ）を閉形式で最適化し、定数時間での更新を可能にする。
• 根の探索や並列化を含む計算最適化を提供し、最悪ケースでO(N²)の複雑さを持つPPR CSでさえも実行可能にする。

実験結果

リサーチクエスチョン

• RQ1 有限母集団からの無作為抽出（復元抽出でない）において、任意の停止時刻においても一様に有効な信頼区間系列を構築できるか？
• RQ2 ベイズ的手法を用いて、逐次的かつ無作為抽出（復元抽出でない）の枠組みで頻度的信頼区間系列を導出する方法は何か？
• RQ3 復元抽出と比較して、無作為抽出による信頼区間幅の改善はどの程度で、その改善はどのように定量化できるか？
• RQ4 時間に一様なホフディング型および経験的ベルンシュタイン型の境界を、復元抽出でない設定に適応させ、既存の手法よりもタイトな境界を得られるか？
• RQ5 バイナリデータと一様連続データの両方を含む多様なデータタイプにおいて、ホフディング、経験的ベルンシュタイン、または事前-事後比のいずれの信頼区間系列が最も優れた性能を示すか？

主な発見

• 提案された信頼区間系列は、すべての停止時刻において真のパラメータを高い確率（1−α）で一様にカバーし、時間に一様な有効性という主要な要件を満たしている。
• 事前-事後比（PPR）CSは、真のパラメータが事前平均に近い場合に特にタイトな信頼区間を達成する。これは、適応的収縮によるものである。
• 分散が小さい設定（例：[0,1]の一様分布）ではホフディング型CSがより慎重（保守的）であり、分散が大きい設定（例：p=0.5のバイナリデータ）では経験的ベルンシュタインCSがよりタイトな境界を達成する。
• N=1000の場合、ホフディング型CSと経験的ベルンシュタイン型CSの1回の更新にそれぞれ約2.1×10⁻⁴秒および2.35×10⁻⁴秒を要するが、PPR CSは約0.306秒を要し、精度と速度のトレードオフが顕在化している。
• シミュレーションでは、低分散設定では経験的ベルンシュタインCSがホフディング型CSを上回り、高分散設定ではホフディング型CSがより慎重であることが示され、いずれの手法も一貫して優れているわけではない。
• 本手法は、無作為抽出による利点を明示的に定量化しており、特に初期のサンプリング段階において、復元抽出と比較して著しくタイトな信頼区間が得られることを示している。