[論文レビュー] Tuning parameter selection for penalized likelihood estimation of inverse covariance matrix

Xin Gao, Daniel Q. Pu+2 more|ArXiv.org|Sep 4, 2009

Advanced Statistical Methods and Models参考文献 13被引用数 9

ひとこと要約

本稿は、ガウス graphical モデルにおけるSCADおよび適応LASSO正則化を用いた逆共分散行列のペナルティ付き尤度推定における、ベイジアン情報量基準（BIC）のチューニングパラメータ選択の一貫性を確立する。BICが標本サイズが増加するにつれて真のグラフィカル構造を一貫して特定できることを示し、大標本では交差検証を上回る性能を示す一方、小標本でも優れた性能を維持する。

ABSTRACT

In a Gaussian graphical model, the conditional independence between two variables are characterized by the corresponding zero entries in the inverse covariance matrix. Maximum likelihood method using the smoothly clipped absolute deviation (SCAD) penalty (Fan and Li, 2001) and the adaptive LASSO penalty (Zou, 2006) have been proposed in literature. In this article, we establish the result that using Bayesian information criterion (BIC) to select the tuning parameter in penalized likelihood estimation with both types of penalties can lead to consistent graphical model selection. We compare the empirical performance of BIC with cross validation method and demonstrate the advantageous performance of BIC criterion for tuning parameter selection through simulation studies.

研究の動機と目的

• SCADおよび適応LASSO正則化下でのスパース逆共分散推定におけるBICの理論的一貫性を確立すること。
• 交差検証と比較して、BICがグラフィカルモデル選択のチューニングパラメータ選択において実証的にどの程度の性能を示すかを評価すること。
• 標本サイズが増加するにつれて、BICが真のグラフィカル構造を確率1に近づけて回復することを示すこと。
• 高次元 graphical モデルにおける交差検証の代替として、計算的に効率的かつ理論的に妥当な手法を提供すること。

提案手法

• スパarsityを誘導するため、SCADおよび適応LASSO正則化を用いた逆共分散行列のペナルティ付き尤度推定を定式化する。
• モデルの適合度と複雑さのバランスをとる最適なチューニングパラメータを選択する基準として、ベイジアン情報量基準（BIC）を適用する。
• 非凸正則化（SCAD、適応LASSO）を、既存のアルゴリズム（例：グラフィカルLASSO）で解ける重み付きL1正則化問題に変換するため、局所線形近似（LLA）を用いる。
• シミュレーションスタディを通じて、さまざまな標本サイズおよびグラフ構造において、BICと交差検証の感度（SENS）、特異度（SPEC）、マシューフォード相関係数（MCC）を比較する。
• BICが選択するチューニングパラメータが漸近的に真のグラフィカルモデル構造を回復することを示す理論的一致性結果を導出する。

実験結果

リサーチクエスチョン

• RQ1 逆共分散推定においてSCADまたは適応LASSO正則化を用いる場合、BICは標本サイズが大きくなるにつれて真のグラフィカルモデル構造を一貫して選択できるか？
• RQ2 さまざまな標本サイズおよびグラフスパarsityレベルにおいて、BICと交差検証のモデル選択精度はどのように比較できるか？
• RQ3 交差検証が計算的に困難になる高次元設定（p >> n）において、BICは高い性能を維持するか？
• RQ4 特定の条件下で、BICは感度、特異度、MCCの観点から交差検証を上回るか？

主な発見

• SCADおよび適応LASSO正則化下で、標本サイズn → ∞ が大きくなるにつれて、BICは真のグラフィカルモデル構造を確率1に近づけて一貫して選択する。
• 小標本（n = 100）においても、BICは交差検証と同等の性能を示す。p = 35、AR(1)モデルの場合、BICのMCCは0.568（適応LASSO）、交差検証は0.533である。
• 標本サイズが増加する（n = 10,000）と、BICは一貫して交差検証を上回る。p = 35、AR(1)モデルの場合、BICのMCCは0.839（ADAP）であるのに対し、交差検証は0.697である。
• ノードあたり3つのエッジを持つスパースグラフでは、BICは高い特異度（例：p=35、n=10,000で0.932）と完全な感度（1.000）を維持するが、交差検証は低い特異度（0.657）とMCC（0.407）を示す。
• よりスパースなAR(2)モデルでは、p=35、n=10,000でBICが適応LASSOでMCC = 0.954を達成し、交差検証（MCC = 0.810）を著しく上回る。
• AR(1)、AR(2)、スパースグラフなど、さまざまなグラフタイプにおいてBICの一貫性は安定しており、大標本漸近的条件下で真の構造を一貫して回復する。