[論文レビュー] Inverse Sampling for Nonasymptotic Sequential Estimation of Bounded Variable Means

Xinjia Chen|arXiv (Cornell University)|Nov 18, 2007

Statistical Methods and Inference参考文献 15被引用数 6

ひとこと要約

本稿では、[0,1] に有界な確率変数の非漸近的逐次推定手法を、逆サンプリングを用いて提案する。サンプリングは、二分探索法により導かれたしきい値に達した時点で停止する。この手法は、真の平均の事前知識がなくても、所定の相対的精度と信頼水準を保証する。先行研究における欠陥を是正し、サンプルサイズと誤差確率を厳密にバウンディングすることで、非漸近的保証を達成する。

ABSTRACT

In this paper, we consider the nonasymptotic sequential estimation of means of random variables bounded in between zero and one. We have rigorously demonstrated that, in order to guarantee prescribed relative precision and confidence level, it suffices to continue sampling until the sample sum is no less than a certain bound and then take the average of samples as an estimate for the mean of the bounded random variable. We have developed an explicit formula and a bisection search method for the determination of such bound of sample sum, without any knowledge of the bounded variable. Moreover, we have derived bounds for the distribution of sample size. In the special case of Bernoulli random variables, we have established analytical and numerical methods to further reduce the bound of sample sum and thus improve the efficiency of sampling. Furthermore, the fallacy of existing results are detected and analyzed.

研究の動機と目的

• 区間 [0,1] に有界な確率変数の平均を、所定の相対的精度と信頼水準を保証する非漸近的逐次推定手法を開発すること。
• Dagum らおよび Cheng が用いた従来の逆サンプリング手法に内在する根本的欠陥（非漸近的または条件付き推論に依存する誤った議論）を是正すること。
• 真の平均の事前知識なしに、所望の推定精度を満たすために必要なサンプル和のしきい値を計算可能なものとして導出すること。
• サンプルサイズの分布に対する明示的なバウンディングを提供し、理論的および実用的効率性を向上させること。
• 既存の文献における誤った主張を、先行研究における誤った確率的議論を厳密に分析・反証することで是正すること。

提案手法

• サンプル和のしきい値を事前に計算した上で、i.i.d. な [0,1]-有界確率変数の累積和がその値に達するまでサンプリングを継続する逆サンプリングルールを提案する。
• 所定の信頼水準と相対的精度を満たすために、最適なサンプル和のしきい値を二分探索アルゴリズムで決定する。
• 相対誤差と非漸近的保証を考慮した、Chernoff-Hoeffding 確率不等式の逆関数を用いた、明示的なしきい値の公式を導出する。
• 集中不等式とマルティングルールを用いて、サンプルサイズの裾確率に対する厳密なバウンディングを確立する。
• 解析的および数値的手法を適用し、ベルヌーイ確率変数の特殊ケースにおいてしきい値をさらに低減させ、サンプリング効率を向上させる。
• 特に Cheng (2004) が用いた条件付き確率の議論における論理的不整合を特定し、是正する。

実験結果

リサーチクエスチョン

• RQ1 真の平均の事前知識なしに、固定信頼水準で相対誤差バウンディングを満たす非漸近的逐次サンプリングスキームを設計可能か？
• RQ2 逐次推定において所望の相対的精度と信頼水準を満たすために、累積和の正しいしきい値は何か？
• RQ3 Dagum らおよび Cheng の既存手法が非漸近的保証を正しく提供できない理由は何か？それらの議論に内在する論理的欠陥は何か？
• RQ4 サンプルサイズの分布をどのようにバウンディングすれば、実装可能性と効率性分析を支援できるか？
• RQ5 ベルヌーイ確率変数の場合に、解析的最適化を用いてサンプル和のしきい値をさらに低減可能か？

主な発見

• 本稿では、Dagum らの議論における根本的欠陥を特定した：必要なサンプルサイズがしきい値を超える場合、非整数の境界を考慮しないと、停止時刻としきい値との間の主張された不等式は一般には成立しない。
• Cheng (2004) の論文における議論は無効である。なぜなら、固定サンプルサイズの集中不等式（定理5）を、データに依存する確率的サンプルサイズに適用しているため、独立性の仮定に違反しているからである。
• 提案された二分探索法により、真の平均の事前知識なしに、信頼性があり計算可能なサンプル和のしきい値を決定できる。これにより、非漸近的信頼水準保証が達成される。
• ベルヌーイ確率変数の場合、必要なサンプル和に対してよりタイトなバウンディングを導出でき、一般のバウンディングに比べてサンプリング効率が向上する。
• 本稿では、サンプルサイズの分布が確率的にバウンデッドであることを確立し、集中不等式から明示的な上界を導出する。
• この手法により、真の平均 μ に対する漸近的近似や、μ に対する緩い下界に依存せずに、標本平均の相対誤差が ε 以内である確率が 1−δ 以上となることが保証される。