[論文レビュー] Constrained High Dimensional Statistical Inference

Ming Yu, Varun Gupta+1 more|arXiv (Cornell University)|Nov 17, 2019

Gaussian Processes and Bayesian Inference参考文献 42被引用数 9

ひとこと要約

本稿では、高次元モデルにおける低次元パラメータの錐制約（例：非負性や単調性）を考慮するように Wald 検定、スコア検定、尤度比検定を修正した制約付き高次元推論フレームワークを提案する。パラメータ空間の制約を組み込むことで、従来の非制約付き手法と比較して、有意水準の制御が漸近的に正確になり、統計的検出力が著しく向上することが、実際の遺伝学的データおよびネットワーク拡散データで検証された。

ABSTRACT

In typical high dimensional statistical inference problems, confidence intervals and hypothesis tests are performed for a low dimensional subset of model parameters under the assumption that the parameters of interest are unconstrained. However, in many problems, there are natural constraints on model parameters and one is interested in whether the parameters are on the boundary of the constraint or not. e.g. non-negativity constraints for transmission rates in network diffusion. In this paper, we provide algorithms to solve this problem of hypothesis testing in high-dimensional statistical models under constrained parameter space. We show that following our testing procedure we are able to get asymptotic designed Type I error under the null. Numerical experiments demonstrate that our algorithm has greater power than the standard algorithms where the constraints are ignored. We demonstrate the effectiveness of our algorithms on two real datasets where we have {\emph{intrinsic}} constraint on the parameters.

研究の動機と目的

• 高次元設定におけるモデルパラメータの自然な制約を考慮する統計的推論手法の不足に対処すること。
• 非負性や単調性などの錐制約下でも、漸近的に有意水準の制御が保たれる仮説検定手順を開発すること。
• パラメータの境界に関する事前知識を活用することで、非制約付き手法と比較して統計的検出力を向上させること。
• 非負の伝達率をもつネットワーク拡散モデルにおいて、個々のエッジの有意性を検定できること。
• 社会的ネットワークや遺伝学的研究など、パラメータが本質的に制約を受ける現実世界の問題に適用可能なフレームワークを提供すること。

提案手法

• 低次元パラメータ $ \bm{\alpha} $ に閉じた凸錐 $ C $ の制約を考慮するように、Wald、スコア、尤度比検定統計量を修正する。
• 帰無仮説 $ H_0: \bm{\alpha} \in M $ を定義する。ここで $ M $ は $ C $ の境界上にある線形部分空間であり、対立仮説は $ H_A: \bm{\alpha} \in C \setminus M $ である。
• 制約付き推定とスコア条件を用いて、帰無仮説の下での検定統計量の漸近的分布を導出し、漸近的有意水準の制御を保証する。
• 高次元の余分パラメータ $ \bm{\theta} $ に対して LASSO を用いたペナルティ付き推定を適用し、その後デバイアス化を施して $ \bm{\alpha} $ の推論を可能にする。
• 制約付き検定からの p 値を用いて、エッジ重みなどの個々のパラメータの有意性を評価する。
• 複数のエッジを同時に検定する際には、家族誤差率を制御するために多重仮説検定補正（例：ホルム＝ボンフェローニ補正）を用いる。

実験結果

リサーチクエスチョン

• RQ1 高次元モデルにおける仮説検定が、パラメータが錐に制約されている場合でも、漸近的に有意水準の制御を維持できるか？
• RQ2 既知のパラメータ制約（例：非負性）を組み込むことで、非制約付き推論と比較して統計的検出力が向上するか？
• RQ3 高次元モデルにおいて、低次元パラメータが凸錐制約の境界上にあるかどうかをどのように検定できるか？
• RQ4 提案手法は、非負の伝達率をもつネットワーク拡散モデルにおいて、有意なエッジを効果的に同定できるか？
• RQ5 制約が無視された場合に、制約付き検定の性能は標準的手法と比べてどうなるか？

主な発見

• 提案された制約付き検定手順は、余分パラメータを伴う高次元設定においても、帰無仮説の下で漸近的に有意水準の制御が達成される。
• 数値実験の結果、制約が存在する状況では、非制約付き手法と比較して本手法の統計的検出力が著しく高いことが示された。
• Memetracker データセットでは、すべての3つの制約付き検定が、時間変動するボラティリティ効果の存在を検出する際に p 値 0.41 を得ており、帰無仮説は棄却されず、先行研究の結果と整合的であった。
• ネットワーク拡散モデリングにおいて、制約付き手法を適用することで、推定された密なネットワーク（図3）が、p 値 ≤ 0.05 のエッジのみを保持する、より疎で解釈性の高い構造（図4）に簡略化された。
• 高 L1 ペナルティによるスパース化とは異なり、制約付き検定によるネットワーク構造は、単に大きさではなく統計的有意性を組み込んだため、より信頼性が高かった。
• 本手法により、ネットワークモデルにおける個々のエッジの有意性検定が可能となり、ヒューリスティックなスパース化の代替として原理的かつ整合性のある手法を提供する。