[論文レビュー] Adaptive testing for the graphical lasso

Max G’Sell, Jonathan Taylor+1 more|arXiv (Cornell University)|Jul 17, 2013

Statistical Methods and Inference参考文献 7被引用数 16

ひとこと要約

本稿では、正則化パスにおけるノット間の間隔に基づく検定統計量を用いて、推定された精度行列に新たに追加された辺の有意性を評価する、グラフィカルラッソにおける新しい適応的仮説検定手順を提案する。この手法は、帰無仮説の下で検定統計量が漸近的に指数分布に従うことを示しており、妥当なサンプルサイズで有効な推論が可能である。相関行列の順序統計と関連付けられ、クラスタリング手法への拡張も可能である。

ABSTRACT

We consider tests of significance in the setting of the graphical lasso for inverse covariance matrix estimation. We propose a simple test statistic based on a subsequence of the knots in the graphical lasso path. We show that this statistic has an exponential asymptotic null distribution, under the null hypothesis that the model contains the true connected components. Though the null distribution is asymptotic, we show through simulation that it provides a close approximation to the true distribution at reasonable sample sizes. Thus the test provides a simple, tractable test for the significance of new edges as they are introduced into the model. Finally, we show connections between our results and other results for regularized regression, as well as extensions of our results to other correlation matrix based methods like single-linkage clustering.

研究の動機と目的

• 正則化グラフィカルモデルにおける推論のギャップを埋めるために、グラフィカルラッソにおける辺の有意性を評価する形式的な仮説検定フレームワークの構築。
• スパarsityパターンの変化が生じるグラフィカルラッソパスにおける連続するノットの系列に基づく、単純で解釈可能な検定統計量の提案。
• 検定統計量の漸近的指数分布を確立し、p値の計算と有意性検定を可能にする。
• シミュレーションにより、漸近的近似が中程度のサンプルサイズでも良好に成り立つことを示す。
• シングルリンク型クラスタリングなどの他の相関に基づく手法への方法論的拡張。

提案手法

• 検定統計量は、推定グラフ構造が変化するノット点における連続する正則化パラメータ（ノット）間の間隔から構築される。
• 統計量は、lassoにおける共分散検定に類似したアプローチに基づくが、ノット点における推定精度行列の変化をグラフィカルラッソ設定に適応したものである。
• 漸近的帰無分布が指数分布に従うことが示され、標本相関行列の順序統計との関連が利用される。
• 帰無仮説（追加的な構造なし）の下で、標本相関行列の最大成分に対する集中不等式と極値理論に依拠する。
• 理論的結果は、有限サンプルサイズにおける漸近的帰無分布と実際の標本分布との間の良好な一致を示すシミュレーションによって裏付けられる。
• エッジが絶対相関閾値に基づいて追加される場合、同じ検定統計量と漸近的分布が成り立つことから、シングルリンク型クラスタリングへの拡張が確立される。

実験結果

リサーチクエスチョン

• RQ1 グラフィカルラッソの正則化パスにおける各ノットで、新たに追加された辺の有意性を評価する単純で解釈可能な検定統計量を構築できるか？
• RQ2 提案された検定統計量は、有限サンプルサイズでも有効な推論を可能にする、取り扱いやすい漸近的帰無分布を持つか？
• RQ3 帰無仮説の下で、検定統計量は標本相関行列の極値順序統計とどのように関連しているか？
• RQ4 理論的枠組みは、シングルリンク型クラスタリングなどの他の相関に基づくモデル選択手順へ拡張可能か？
• RQ5 実際の有限サンプル設定において、検定の性能（第一種の誤りの制御と検出力）はいかがなっているか？

主な発見

• 提案された検定統計量は、追加の辺が有意でないという帰無仮説の下で、漸近的に指数分布に従うため、p値の計算が可能である。
• 漸近的帰無分布は、さまざまな設定で実施された広範なシミュレーションにより、有限サンプル分布と良好に一致することが検証された。
• 検定統計量は、特に最大成分である標本相関行列の極値順序統計と密接に関連している。
• 本手法は、中程度のサンプルサイズでも良好な第一種の誤りの制御を達成し、意味のある辺を検出する検出力を維持する。
• 理論的枠組みは、絶対相関に基づくシングルリンク型クラスタリングへ自然に拡張可能であり、同様の検定統計量と漸近的分布が導出された。
• 本研究は、スパースグラフィカルモデルにおける解釈可能性と有意性評価の重要なギャップを埋める、形式的な推論フレームワークを確立した。