[論文レビュー] Chernoff Index for Cox Test of Separate Parametric Families

Xiaoou Li, Jingchen Liu+1 more|arXiv (Cornell University)|Jun 27, 2016

Statistical Methods and Inference参考文献 14被引用数 4

ひとこと要約

本稿は、大偏差枠組みにおいて、非ネスト型パラメトリックモデルにおける一般化尤度比検定のためのチェルノフ指数——漸近的相対効率の尺度——を導出する。2つの独立した密度族が検定対象である状況で、最大の第一種および第二種の誤り確率の正確な指数的減少率を確立し、事前にどちらの仮説も優先されない状況におけるモデル選択のための決定的効率ベンチマークを提供する。

ABSTRACT

The asymptotic efficiency of a generalized likelihood ratio test proposed by Cox is studied under the large deviations framework for error probabilities developed by Chernoff. In particular, two separate parametric families of hypotheses are considered [Cox, 1961, 1962]. The significance level is set such that the maximal type I and type II error probabilities for the generalized likelihood ratio test decay exponentially fast with the same rate. We derive the analytic form of such a rate that is also known as the Chernoff index [Chernoff, 1952], a relative efficiency measure when there is no preference between the null and the alternative hypotheses. We further extend the analysis to approximate error probabilities when the two families are not completely separated. Discussions are provided concerning the implications of the present result on model selection.

研究の動機と目的

• 非ネスト型パラメトリック族に対してチェルノフ枠組みの下で一般化尤度比検定の漸近的効率を確立すること。
• テスト統計量が確率的関数の上限の比を含む場合における、合成仮説のチェルノフ指数を計算するという未解決問題を解消すること。
• 第一種および第二種の誤り確率が同じ指数的減少率を示すという仮定の下で、相対的効率の尺度を提供すること。
• 2つのパラメトリック族が完全に分離されていない場合の分析を拡張し、近似誤り確率に関する洞察を提供すること。
• 非ネスト型設定における一般化尤度比検定の相対的効率を定量化することで、モデル選択を支援すること。

提案手法

• 一般化尤度比統計量 $ LR_n = \frac{\max_{\gamma \in \Gamma} \prod_{i=1}^n h_\gamma(X_i)}{\max_{\theta \in \Theta} \prod_{i=1}^n g_\theta(X_i)} $ に大偏差理論を適用する。これは $ \exp(l_h(\hat{\gamma}) - l_g(\hat{\theta})) $ に等価である。
• チェルノフ指数を、大偏差状態における最大第一種および第二種誤り確率の共通の指数的減少率 $ \rho $ として定義する。
• 凸解析とカルバック・ライバラー発散度を用いて、帰無仮説および対立仮説モデル下での対数尤度比のレート関数を導出する。
• 相互絶対連続性と、$ \text{KL}(g_\theta, h_\gamma) \geq \delta > 0 $ をすべての $ \theta, \gamma $ に対して満たす正則性条件を課す。
• 陰関数定理および2次近似を用いて、最大化推定量 $ \hat{\theta}, \hat{\gamma} $ および関連するスコア関数の挙動を分析する。
• 三角行列のライアプノフの条件を用いて、帰無仮説下でのスコアに基づく統計量の漸近正規性を証明する。

実験結果

リサーチクエスチョン

• RQ1 非ネスト型パラメトリックモデルにおける一般化尤度比検定の、最大第一種および第二種誤り確率の正確な漸近的減少率（チェルノフ指数）は何か？
• RQ2 2つのパラメトリック族が完全に分離されていない場合、チェルノフ指数はどのように振る舞い、そのような状況での近似誤り確率は何か？
• RQ3 第一種および第二種の誤りが同じ指数的減少率で減少するチェルノフ状態において、一般化尤度比検定に相対的効率の尺度を割り当てることは可能か？
• RQ4 カルバック・ライバラー発散度は、非ネスト型モデルのチェルノフ指数を決定づける役割を果たすか？
• RQ5 提案された枠組みは、事前にどちらの仮説も優先されない非ネスト型設定におけるモデル選択をどのように支援するか？

主な発見

• チェルノフ指数 $ \rho $ は、2つのパラメトリック族間のカルバック・ライバラー発散度を含む変分問題の解として導出される。
• 一般化尤度比検定は、大偏差状態において最適なチェルノフ指数を達成し、第一種および第二種の誤り確率が両方とも指数的減少率 $ \rho $ で減少する。
• 2つの族が正のカルバック・ライバラー距離で分離されている場合、チェルノフ指数は正であり、非自明な識別力が保証される。
• 分離されていない族の場合、2次近似を用いて近似誤り確率が導出され、減少率が族間の距離に依存することが示された。
• 正則性条件の下で、スコアに基づく統計量の漸近正規性が確立され、大偏差近似の妥当性が裏付けられた。
• 導出されたチェルノフ指数は、非ネスト型モデル選択問題における一般化尤度比検定の比較のための決定的ベンチマークを提供する。