[論文レビュー] On the Non-asymptotic and Sharp Lower Tail Bounds of Random Variables

Anru R. Zhang, Yuchen Zhou|arXiv (Cornell University)|Oct 21, 2018

Statistical Methods and Inference参考文献 28被引用数 4

ひとこと要約

本稿は、独立したサブガウス型およびサブエクスポネンシャル型確率変数の和に対して、非漸近的かつ鋭い下側尾根分布を導出する体系的で使いやすい手法を提案する。特に、古典的なホーフディング型およびベルシュタイン型不等式に類似した、一致する上側および下側尾根分布を確立する。また、二項分布やポアソン分布などの分布に対して、新しい逆チェルノフ＝クラメール不等式を導入し、高次元設定におけるきめ細かな統計的推論を可能にする。

ABSTRACT

The non-asymptotic tail bounds of random variables play crucial roles in probability, statistics, and machine learning. Despite much success in developing upper bounds on tail probability in literature, the lower bounds on tail probabilities are relatively fewer. In this paper, we introduce systematic and user-friendly schemes for developing non-asymptotic lower bounds of tail probabilities. In addition, we develop sharp lower tail bounds for the sum of independent sub-Gaussian and sub-exponential random variables, which match the classic Hoeffding-type and Bernstein-type concentration inequalities, respectively. We also provide non-asymptotic matching upper and lower tail bounds for a suite of distributions, including gamma, beta, (regular, weighted, and noncentral) chi-square, binomial, Poisson, Irwin-Hall, etc. We apply the result to establish the matching upper and lower bounds for extreme value expectation of the sum of independent sub-Gaussian and sub-exponential random variables. A statistical application of signal identification from sparse heterogeneous mixtures is finally considered.

研究の動機と目的

• 確率論および統計学における非漸近的かつ鋭い下側尾根分布の不足に取り組むこと、特に上側尾根理論に比べて整備が不十分な状況に焦点を当てる。
• 有限標本設定において広範な確率変数に適用可能な、体系的で実用的な下側尾根分布の導出スキームを構築すること。
• ガンマ分布、ベータ分布、カイ二乗分布（通常、重み付き、非心）、二項分布、ポアソン分布、およびアイリュイン＝ホール分布などの主要な分布に対して、一致する上側および下側尾根分布を確立すること。
• 独立したサブガウス型およびサブエクスポネンシャル型確率変数の和の極値期待値に対して鋭い下側境界を導出すること。
• 信号のスパースで不均一な混合物からの同定など、高次元問題における統計的推論の改善を実現すること。

提案手法

• モーメント生成関数の性質と凸共役解析を活用して、鋭い下側尾根分布を導出する逆チェルノフ＝クラメール不等式（補題1）を導入する。
• テイラー展開と指数モーメントの上限を用いて、サブガウス型およびサブエクスポネンシャル型確率変数のモーメント生成関数を制御し、サブガウス型の尾根挙動を確立する。
• 傾き変換手順と対数的凸性の仮定を適用して、重い尾根または軽い尾根を持つ独立確率変数の和の下側境界を導出する。
• 離散分布（特に二項分布やポアソン分布）に対して、確率質量関数の解析を用いて下側境界を構築し、既知の上側境界と一致するきめ細かさを保証する。
• チェルノフ＝クラメール手法と逆不等式を組み合わせることで、古典的な集中不等式の漸近的減衰率と一致する下側尾根分布を導出する。
• 凸性とサブガウス型モーメント条件を用いて、小さな標本サイズであっても非漸近的かつ鋭い下側尾根分布を導出する。

実験結果

リサーチクエスチョン

• RQ1 一般の確率変数に対して、非漸近的かつ鋭い下側尾根分布を体系的に導出する方法は何か？特に、上側境界が既に整備されている状況において。
• RQ2 ホーフディング型およびベルシュタイン型の上側境界に類似した、一致する下側境界を、独立したサブガウス型およびサブエクスポネンシャル型確率変数の和に対して開発できるか？
• RQ3 二項分布、ポアソン分布、ガンマ分布、ベータ分布、カイ二乗分布などの古典的分布に対して、最もきめ細かい下側尾根分布は何か？
• RQ4 逆チェルノフ＝クラメール不等式はどのように構築され、二項分布やポアソン分布などの離散分布に適用して鋭さを達成できるか？
• RQ5 上側および下側尾根分布が一致する場合、極値期待値やスパースで不均一な混合物からの信号検出における統計的意味は何か？

主な発見

• 本稿は、独立したサブガウス型確率変数の和に対して、ホーフディング型の上側境界と一致する鋭い下側尾根分布を確立し、一致する指数的減衰率を示した。
• サブエクスポネンシャル型和の場合は、導出された下側境界がベルシュタイン型の上側境界と一致し、集中不等式フレームワークの両方向での鋭さを確認した。
• 逆チェルノフ＝クラメール不等式が導出され、特に二項分布やポアソン分布のような離散分布に対して有効であることが示された。これにより、非漸近的下側尾根制御が可能になった。
• ガンマ分布、ベータ分布、カイ二乗分布（通常、重み付き、非心）、二項分布、ポアソン分布、およびアイリュイン＝ホール分布に対して、本稿は初めての知られている鋭い非漸近的下側尾根分布を提供した。
• 独立したサブガウス型およびサブエクスポネンシャル型確率変数の和の極値期待値に対して、一致する上側および下側境界が存在することが示され、尾根リスクの定量的評価が向上した。
• スパースで不均一な混合物からの信号同定への統計的応用が提示され、新しい境界が高次元設定におけるより信頼性の高い検出を可能にした。