[論文レビュー] Extended Bayesian Information Criteria for Gaussian Graphical Models

Rina Foygel, Mathias Drton|arXiv (Cornell University)|Nov 30, 2010

Statistical Methods and Inference参考文献 10被引用数 709

ひとこと要約

本稿では、変数の数 $p$ と標本サイズ $n$ がともに増加する高次元設定においても一貫性を保つガウス graphical モデル向けに拡張されたベイジアン情報量基準（EBIC）を提案する。調整可能なペナルティパラメータ $ \gamma$ を導入することで、スパースなモデルを favour する構造学習が可能となり、$p$、$n$、非ゼロパラメータ数 $q$ の緩やかな増加条件のもとで、真の graphical 構造を一貫して回復できることを理論的に示している。$p$ と $q$ が $n$ に従って増加するシナリオにおいて、標準 BIC や交差検証よりも優れた性能を示したシミュレーション結果を得た。

ABSTRACT

Gaussian graphical models with sparsity in the inverse covariance matrix are of significant interest in many modern applications. For the problem of recovering the graphical structure, information criteria provide useful optimization objectives for algorithms searching through sets of graphs or for selection of tuning parameters of other methods such as the graphical lasso, which is a likelihood penalization technique. In this paper we establish the consistency of an extended Bayesian information criterion for Gaussian graphical models in a scenario where both the number of variables p and the sample size n grow. Compared to earlier work on the regression case, our treatment allows for growth in the number of non-zero parameters in the true model, which is necessary in order to cover connected graphs. We demonstrate the performance of this criterion on simulated data when used in conjunction with the graphical lasso, and verify that the criterion indeed performs better than either cross-validation or the ordinary Bayesian information criterion when p and the number of non-zero parameters q both scale with n.

研究の動機と目的

• 変数の数 $p$ と標本サイズ $n$ がともに増加する高次元設定における一貫性のある graphical モデル選択の課題に取り組む。
• 固定された $p$ を仮定する古典的 BIC の限界を克服し、増加するモデルの複雑さと連結グラフを扱えるように基準を拡張する。
• 真のモデルにおける非ゼロパラメータ数が $n$ とともに増加する状況でも一貫性を保つ理論的裏付けのある情報基準を開発する。
• グラフィカルラassoなどの手法におけるチューニングパラメータ選択の実用的代替手段として、交差検証や標準 BIC よりも優れた選択肢を提供する。
• 非漸近的枠組みのもとで、$p$ と $q$ が $n$ とともに中程度に増加する条件において、拡張 BIC の理論的一貫性を確立する。

提案手法

• 拡張 BIC は $\text{BIC}_\gamma(\mathbf{E}) = -2l_n(\hat{\Theta}(\mathbf{E})) + |\mathbf{E}|\log n + 4|\mathbf{E}|\gamma\log p$ として定義され、ここで $\mathbf{E}$ は候補となるグラフのエッジ集合、$l_n$ は最大化された対数尤度である。
• ペナルティ項 $4|\mathbf{E}|\gamma\log p$ はモデルの複雑さに対するペナルティを強化し、$\gamma \in [0,1]$ がペナルティの強度を制御する。
• モデルの複雑さが $q$ 以下である分解可能グラフの制限付きモデル空間における全探索を検討し、$q$ は $n$ とともに増加する。
• 理論的分析には集中不等式（CSB）、固有値の上限、尤度差のベータ分布およびカイ二乗分布に基づく確率的優位性を用いる。
• すべての候補モデル（$|\mathbf{E}| \leq q$）に対して和集合不等式を用いることで、非漸近的バインドを導出し、高確率での一貫性を保証する。
• 主な技術的ツールには、対数尤度のテイラー展開、スコアベクトルのフロベニウスノルムの制御、ヘッシアン行列の固有値制御が含まれる。

実験結果

リサーチクエスチョン

• RQ1 変数の数 $p$ と標本サイズ $n$ がともに増加する状況において、調整可能な $\gamma$ パラメータを有する拡張 BIC は、構造学習において一貫性を保つことができるか？
• RQ2 変数の数 $p$ と非ゼロパラメータ数 $q$ が $n$ に従って増加する高次元設定において、拡張 BIC は標準 BIC や交差検証を上回る性能を示すか？
• RQ3 モデルの複雑さが増加する状況、特に $q = |\mathbf{E}_0|$ が増加する連結グラフに対しても、拡張 BIC は一貫性を保つか？
• RQ4 パラメータ $\gamma$ の選択が、高次元ガウス graphical モデルにおけるモデル選択の一貫性とペナルティ強度のトレードオフにどのように影響するか？
• RQ5 理論的証明の仮定を越えて、拡張 BIC をグラフィカルラassoと組み合わせて、実用的な構造学習に効果的に応用できるか？

主な発見

• パラメータ $\gamma > 1 - \frac{1}{4\kappa}$ をとることで、$p$、$n$、$q$ の緩やかな増加条件のもとで、真の graphical 構造 $\mathbf{E}_0$ が高確率で一貫して回復される。
• 非漸近的条件 (5) および (6) の下で、拡張 BIC は真のモデル $\mathbf{E}_0$ を確率 $1 - \frac{1}{4\sqrt{\pi}\log p}\frac{p^{-\epsilon_0}}{1-p^{-\epsilon_0}} - \frac{1}{\sqrt{\pi\log p}}p^{-\epsilon_1}$ 以上で選択する。
• シミュレーションにおいて、$p$ と $q$ が $n$ に従って増加する状況で、標準 BIC や交差検証を上回る性能を示し、特に正しいエッジ集合の回復に優れた結果を得た。
• 正の $\gamma$ 値は、非ゼロパラメータ数が $n$ とともに増加する状況で、複雑なモデルに対するペナルティを強化するため、一貫性を達成するために不可欠である。
• 真のモデルにエッジ数が増加する場合でも、拡張 BIC の理論的一貫性は保たれ、連結グラフをカバーするには不可欠である。
• 実験的結果から、拡張 BIC をグラフィカルラassoと組み合わせることで、理論的裏付けが全探索に限定されているにもかかわらず、高次元設定におけるグラフ推定性能が向上することが確認された。