[論文レビュー] A Likelihood Ratio Approach for Probabilistic Inequalities

Xinjia Chen|arXiv (Cornell University)|Aug 18, 2013

Probabilistic and Robust Engineering Design参考文献 11被引用数 4

ひとこと要約

本稿では、モーメント生成関数に依存せずに、よりタイトで一般的な確率的不等式を導出するための尤度比アプローチを提案する。単調尤度比を活用し、パrameter化された境界関数について最適化することで、特に行列値および重い尾を持つ分布に対して、古典的なチェルノフ型不等式を上回る改善された集中境界が得られる。

ABSTRACT

We propose a new approach for deriving probabilistic inequalities based on bounding likelihood ratios. We demonstrate that this approach is more general and powerful than the classical method frequently used for deriving concentration inequalities such as Chernoff bounds. We discover that the proposed approach is inherently related to statistical concepts such as monotone likelihood ratio, maximum likelihood, and the method of moments for parameter estimation. A connection between the proposed approach and the large deviation theory is also established. We show that, without using moment generating functions, tightest possible concentration inequalities may be readily derived by the proposed approach. We have derived new concentration inequalities using the proposed approach, which cannot be obtained by the classical approach based on moment generating functions.

研究の動機と目的

• 古典的な手法（例えばチェルノフ境界）を超える、より一般かつ強力な確率的不等式を導出するためのフレームワークを構築すること。
• 特定の分布に対して計算が困難または定義されない場合があるモーメント生成関数への依存を排除すること。
• 提案手法と単調尤度比、最尤推定、モーメント法などの統計的根幹的概念との関係を確立すること。
• 従来のモーメント生成関数に基づくアプローチでは到達できない、新たな集中不等式を導出すること。
• 高次元および行列値の設定における尾確率に対して、よりタイトで洞察に富んだ境界を提供すること。

提案手法

• イベントの指示関数をパrameter化された関数 $ w(\boldsymbol{X}, \boldsymbol{\theta}) $ で境界づけることで確率的不等式を定式化し、ほとんど確実に $ \mathbb{I}_{\{\boldsymbol{X} \in \mathscr{E}\}} \leq w(\boldsymbol{X}, \boldsymbol{θ}) $ が成り立つようにする。
• パrameter $ \boldsymbol{θ} \in \Theta $ について期待値 $ \mathbb{E}[w(\boldsymbol{X}, \boldsymbol{θ})] $ を最小化することで、$ \Pr\{\boldsymbol{X} \in \mathscr{E}\} $ のタイトな上界が得られる。
• 尤度比フレームワークを導入し、密度比に基づいた境界を導出する。特に $ \rho(\boldsymbol{x}, \boldsymbol{\theta}) = \alpha \ln|\boldsymbol{\theta}| - \frac{1}{\beta} \text{tr}(\boldsymbol{\theta}^{-1}\boldsymbol{x}) $ を用い、これは $ \boldsymbol{x} $ に関して線形である。
• Wishart分布に従う確率的行列にこの手法を適用し、$ \boldsymbol{\theta} \succ \boldsymbol{\Sigma} $ について最適化することで、$ \Pr\{\overline{\boldsymbol{\mathcal{X}}}_n \succ \boldsymbol{z}\} $ および $ \Pr\{\overline{\boldsymbol{\mathcal{X}}}_n \prec \boldsymbol{z}\} $ の境界を導出する。
• 恒等式 $ \frac{f(\boldsymbol{z})}{g(\boldsymbol{z}, \boldsymbol{\theta})} = \left(\frac{e}{\alpha\beta}\right)^{p\alpha} \left(\frac{|\boldsymbol{z}|}{|\boldsymbol{\Sigma}|}\right)^\alpha \exp\left(-\frac{1}{\beta}\text{tr}(\boldsymbol{\Sigma}^{-1}\boldsymbol{z})\right) $ を用いて、境界を閉形式で表現する。
• 最終的な境界として、$ \varrho \geq 1 $ に対して $ \Pr\{\boldsymbol{X} \succ \varrho\alpha\beta\boldsymbol{\Sigma}\} \leq \left[\varrho \exp(1 - \varrho)\right]^{np\alpha} $ を導出する。また、$ \varrho \in (0,1] $ に対して対称的な境界も得られる。

実験結果

リサーチクエスチョン

• RQ1 尤度比フレームワークは、従来のモーメント生成関数に基づく手法よりもタイトな集中不等式を導出できるか？
• RQ2 提案手法は、単調尤度比や最尤推定といった確立された統計的概念とどのように関係しているか？
• RQ3 この手法は、チェルノフやフーディング型の境界では到達できない新たな不等式を導出可能か？
• RQ4 パrameter最適化が、期待境界関数を最小化し、可能な限りタイトな尾確率境界を達成するために果たす役割は何か？
• RQ5 この手法は、特にWishart分布に従う行列値確率変数へとどのように拡張可能か？

主な発見

• 尤度比アプローチは、特にモーメント生成関数が定義されない、または計算が困難な場合に、古典的手法よりもタイトな集中不等式を生成する。
• この手法は、単調尤度比、最尤推定、モーメント法といった統計的根幹的概念と直接的な関係を確立する。
• Wishart分布に従う行列に対して、$ \Pr\{\boldsymbol{X} \succ \varrho\alpha\beta\boldsymbol{\Sigma}\} \leq \left[\varrho \exp(1 - \varrho)\right]^{np\alpha} $（$ \varrho \geq 1 $）という境界を導出し、これはモーメント生成関数の手法では得られない。
• 境界は $ \boldsymbol{\theta} = \frac{\boldsymbol{z}}{\alpha\beta} $ と設定することで最適化され、与えられた制約下でタイトであることが示される。
• この手法は、モーメント生成関数を完全に回避するため、重い尾を持つ分布や指数型分布族に属さない分布に対しても集中不等式を導出可能である。
• 対称的な導出により、上尾と下尾の両方の境界が一般化され、$ \varrho \in (0,1] $ に対して $ \Pr\{\boldsymbol{X} \prec \varrho\alpha\beta\boldsymbol{\Sigma}\} \leq \left[\varrho \exp(1 - \varrho)\right]^{np\alpha} $ が得られる。