[論文レビュー] On Semiparametric Exponential Family Graphical Models

Zhuoran Yang, Yang Ning+1 more|arXiv (Cornell University)|Dec 30, 2014

Statistical Methods and Inference参考文献 62被引用数 21

ひとこと要約

本稿では、ノードタイプの事前指定を必要とせず、連続的および離散的データを柔軟に扱える半パラメトリック指数型族グラフィカルモデルを提案する。局所化されたマルチステージリラクゼーションアルゴリズムと、パrameterパrametrizationに対して不変性を保証する対称的ペairワイズスコア検定を用いた統一的推定・推論フレームワークを構築し、スパース固有値条件の下で最適な推定レートと妥当な仮説検定を達成する。

ABSTRACT

We propose a new class of semiparametric exponential family graphical models for the analysis of high dimensional mixed data. Different from the existing mixed graphical models, we allow the nodewise conditional distributions to be semiparametric generalized linear models with unspecified base measure functions. Thus, one advantage of our method is that it is unnecessary to specify the type of each node and the method is more convenient to apply in practice. Under the proposed model, we consider both problems of parameter estimation and hypothesis testing in high dimensions. In particular, we propose a symmetric pairwise score test for the presence of a single edge in the graph. Compared to the existing methods for hypothesis tests, our approach takes into account of the symmetry of the parameters, such that the inferential results are invariant with respect to the different parametrizations of the same edge. Thorough numerical simulations and a real data example are provided to back up our results.

研究の動機と目的

• ノードごとの条件付き分布のパラメトリック形を仮定しない、高次元混合データを柔軟にモデル化する統一的フレームワークの構築。
• 既存の混合グラフィカルモデルがノードタイプ（例：正規分布、ベルヌーイ分布）を事前に指定する必要があるという限界の解消。
• 高次元スパarsity下でも最適な統計的レートを達成するロバストなパラメータ推定の実現。
• 同一エッジの異なるパrametrization（βjk = βkj）に対してp値が不変となる対称的ペアイズスコア検定の提案により、推論の信頼性向上。

提案手法

• ノードワイズな条件付き分布を、未指定のベース測度関数を有する半パラメトリック一般化線形モデルで指定し、混合データタイプに柔軟に対応可能にする。
• 統計的クロマトグラフィーを用いて導出された損失関数の局所的解析を採用し、Zhang（2010）のマルチステージリラクゼーションアルゴリズムを、複雑で非線形なU統計量の勾配およびヘッセ行列に拡張する。
• 非線形U統計量を用いて精度行列を推定し、技術的解析にはサブガウス型尾部仮定の下でのU統計量に対するBernsteinの不等式を用いる。
• 対称的ペアイズスコア検定を提案し、βjk = βkjの対称性を明示的に組み込むことで、βjk = 0とβkj = 0の両方の検定で同一のp値が得られることを保証する。
• 局所的スパース固有値条件の下で理論的保証を確立し、高次元線形モデルと同等の最適な推定レートを示す。
• ノードタイプに依存しない推定と推論の統一を実現し、正規分布、ベルヌーイ分布、ポアソン分布ノードに対して別個の手順を必要としない。

実験結果

リサーチクエスチョン

• RQ1 ノードの条件付き分布のパラメトリック形を事前に指定しない高次元混合データ向けの統一的グラフィカルモデルを構築可能か？
• RQ2 条件付き分布が半パラメトリックであり、損失関数に有界でないU統計量が含まれる高次元設定下でも、パラメータ推定が最適なレートを達成可能か？
• RQ3 同一エッジの異なるパラメータ化（βjk = βkj）に対して推論結果が不変となる対称的ペアイズスコア検定が存在するか？
• RQ4 提案手法が、パラメトリックモデルが要請するよりも弱い仮定の下でも最適な推定レートを達成可能か？
• RQ5 有限標本下での性能は、既存の混合グラフィカルモデルと比較して、エッジ検出精度およびp値の信頼性において優れているか？

主な発見

• 提案手法は、局所的スパース固有値条件の下で、高次元線形モデルと同等の最適な統計的推定レートを達成し、パラメータ回復に成功する。
• 対称的ペアイズスコア検定により、βjk = βkjの変換に対してp値が不変となることが保証され、NingとLiu（2014）の手法とは異なり、この性質を欠いていなかった。
• 損失関数の勾配およびヘッセ行列が、有界でないカーネルを有する非線形U統計量であることが示され、先行研究を超える洗練された技術的解析を要する。
• 高確率（少なくとも1 − (4d)−1）で、すべてのノードにおいてヘッセ行列の推定誤差が∞ノルムでO(√(log d / n))に有界であることが示された。
• サブガウス型尾部仮定の下でもロバスト性を維持し、U統計量に対するBernsteinの不等式により尾部確率が制御可能である。
• 数値シミュレーションと実データ例により、本手法の有効性が確認され、特に混合データタイプ下でも対称性と精度を保持するエッジ検出および推論性能に優れている。