[論文レビュー] Two-sample inference for high-dimensional Markov networks

Byol Kim, Song Liu+1 more|Explore Bristol Research|May 1, 2019

Statistical Methods and Inference参考文献 68被引用数 8

ひとこと要約

本稿は、個々のグラフ推定を回避する密度比アプローチを用いて、高次元マルコフネットワークにおける2標本推論のための新規手法を提案する。個々のネットワークが密であってもその差がスパースである場合に、完全なモデル選択を必要とせず弱い仮定のもとで、有限標本におけるガウス近似の誤差バウンドとブートストラップに基づく推論手順（ネットワークの等価性の検定や信頼区間の構築）を提供する。

ABSTRACT

Markov networks are frequently used in sciences to represent conditional independence relationships underlying observed variables arising from a complex system. It is often of interest to understand how an underlying network differs between two conditions. In this paper, we develop methods for comparing a pair of high-dimensional Markov networks where we allow the number of observed variables to increase with the sample sizes. By taking the density ratio approach, we are able to learn the network difference directly and avoid estimating the individual graphs. Our methods are thus applicable even when the individual networks are dense as long as their difference is sparse. We prove finite-sample Gaussian approximation error bounds for the estimator we construct under significantly weaker assumptions than are typically required for model selection consistency. Furthermore, we propose bootstrap procedures for estimating quantiles of a max-type statistics based on our estimator, and show how they can be used to test the equality of two Markov networks or construct simultaneous confidence intervals. The performance of our methods is demonstrated through extensive simulations. The scientific usefulness is illustrated with an analysis of a new fMRI dataset.

研究の動機と目的

• ガウス分布や特定のパラメトリックモデルを仮定しない高次元マルコフネットワークにおける差分ネットワークの統計的推論の統一的フレームワークを構築すること。
• 従来の手法が個々のネットワークのスパarsityを要するという制限を克服し、差分のみがスパースである場合の推論を可能にすること。
• 差分ネットワークの有効な不確実性の定量（信頼区間と仮説検定）を提供すること。これは、高次元差分ネットワーク推定においてしばしば無視される。
• モデル選択の一貫性よりも弱い仮定のもとで、有限標本におけるガウス近似誤差バウンドを確立すること。これにより、不整合性や強い信号強度条件を回避する。

提案手法

• 個々のネットワークを別々に推定する必要を回避するため、密度比アプローチを用いて2つの高次元マルコフネットワーク間の差を直接推定する。
• 2つの状態間の確率密度比をモデル化するために、Kullback-Leibler Importance Estimation Procedure (KLIEP) を適用する。
• 真の密度比と推定された密度比のKLダイバージェンスを最小化する損失関数を用いて、正則化推定量を構築する。
• 最大型統計量の分位点を推定するためのブートストラップ手順を用い、有効な仮説検定と同時信頼区間の構築を可能にする。
• 完全なモデル選択を必要とせず、強い信号強度条件も不要な弱い正則性条件のもとで、推定量の有限標本におけるガウス近似誤差バウンドを導出する。
• 推定プロセスにおいて自動スケーリングの定式化と普遍的なペナルティ水準を用いることで、ロバストネスと実用的性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 個々のネットワークがスパースでなくても、差分がスパースであれば、高次元マルコフネットワーク間の差分に対する有効な統計的推論が可能か？
• RQ2 弱い仮定のもとで、差分ネットワークの同時信頼区間の構築と仮説検定はどのように行えるか？
• RQ3 密度比推定に基づく直接的差分ネットワーク推定量の有限標本誤差バウンドは何か？
• RQ4 ブートストラップ手順は、高次元差分ネットワーク推定における最大型統計量の臨界値を信頼性高く推定できるか？
• RQ5 個々のネットワークが密であっても差分がスパースである場合に、提案手法は有効性と検出力の両方を維持するか？

主な発見

• 提案手法は、個々のネットワークが密であっても差分がスパースであれば、差分の有効な推論を達成する。これは、両方のネットワークがスパースを要する従来手法に比べて顕著な改善である。
• モデル選択の一貫性を要する仮定よりも弱い仮定のもとで、有限標本におけるガウス近似誤差バウンドが確立され、不整合性や強い信号強度条件を回避できる。
• 最大型統計量のためのブートストラップ手順は、同時信頼区間の構築とネットワーク等価性の検定において有効かつ信頼性があることが示された。
• シミュレーションでは、タイプIエラーの制御が適切に維持され、特に差分がスパースな場合に良好な検出力が得られた。
• fMRI応用では、タスク関連の脳ネットワーク変化が正しく検出され、既知の神経生物学的期待と整合した。
• 米国上院の投票データでは、議席移動後もニュージャージー州の上院議員の投票行動における顕著な変化は検出されず、期待と先行研究に一致した。