[論文レビュー] Generalized information criterion for model selection in penalized graphical models

Antonino Abbruzzo, Ivan Vujaci+2 more|arXiv (Cornell University)|Mar 5, 2014

Statistical Methods and Inference参考文献 18被引用数 5

ひとこと要約

本稿では、ペナルティ付きガウス・コプゥラ・グラフィカル・モデルにおけるモデル選択のための一般化情報基準（GIC）を提案する。Kullback-Leibler（KL）発散を用いてモデルの精度を推定することで、高次元設定でも効率的な計算が可能となり、特にスパースおよび密なグラフ構造下で、AIC や BIC や交差検証を上回るエッジ回復性能を示す。

ABSTRACT

This paper introduces an estimator of the relative directed distance between an estimated model and the true model, based on the Kulback-Leibler divergence and is motivated by the generalized information criterion proposed by Konishi and Kitagawa. This estimator can be used to select model in penalized Gaussian copula graphical models. The use of this estimator is not feasible for high-dimensional cases. However, we derive an efficient way to compute this estimator which is feasible for the latter class of problems. Moreover, this estimator is, generally, appropriate for several penalties such as lasso, adaptive lasso and smoothly clipped absolute deviation penalty. Simulations show that the method performs similarly to KL oracle estimator and it also improves BIC performance in terms of support recovery of the graph. Specifically, we compare our method with Akaike information criterion, Bayesian information criterion and cross validation for band, sparse and dense network structures.

研究の動機と目的

• 高次元のペナルティ付きグラフィカル・モデルにおける最適な正則化パラメータの選択という課題に対処すること。
• 推定モデルと真のモデルの間の Kullback-Leibler 発散を近似するモデル選択基準の開発。
• 直接推定が非現実的となる高次元設定において、提案された基準の計算を効率的に行えるようにすること。
• AIC や BIC や交差検証といった既存の基準と比較して、さまざまなネットワーク構造における性能を評価すること。
• スパース、バンド、密なグラフィカル・モデルにおいて、本手法のロバストネスとエッジ回復性能の優位性を示すこと。

提案手法

• Konishi と Kitagawa の一般化情報基準にインspiredされ、推定モデルと真のモデルの間の相対的有向距離の推定器を提案する。この推定器は Kullback-Leibler 発散に基づく。
• 高次元設定における非可解性を克服するため、GIC 推定器の実用的で計算効率の良い近似を導出する。
• ガウス・コプゥラ・グラフィカル・モデルにおけるペナルティ付き尤度推定に GIC を適用し、lasso、適応的lasso、SCAD などの複数のペナルティを扱えるようにする。
• 推定された KL 発散を最小化する正則化パラメータを選択するモデル選択基準として GIC を用いる。
• 計算スケーラビリティを確保するため、KL 発散推定器におけるトレース項の一貫性のある近似を採用する。
• さまざまなグラフタイプ（バンド、スパース、密）と標本サイズにおけるシミュレーションを通じて、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 Kullback-Leibler 発散に基づく一般化情報基準は、ペナルティ付きガウス・コプゥラ・グラフィカル・モデルにおけるモデル選択に効果的に適応可能か？
• RQ2 提案された GIC は、AIC や BIC や交差検証と比較して、エッジ回復精度においてどの程度優れているか？
• RQ3 直接 KL 発散の推定が非現実的となる高次元グラフィカル・モデルにおいて、GIC は計算的に実行可能か？
• RQ4 特にスパースおよび密なネットワーク構造において、BIC よりもモデル選択の一貫性が向上するか？
• RQ5 lasso や適応的lasso や SCAD といった異なるペナルティタイプにおいて、GIC の性能はどのように変化するか？

主な発見

• 提案された GIC 推定器は、すべてのシミュレーション設定において AIC よりも顕著に KL 発散を正確に近似する。
• スパースおよびバンド構造のネットワークでは、GIC は KL オラクル推定器と同等のエッジ回復性能を達成し、BIC や AIC を上回る。
• 密なランダム・グラフでは、適応的lasso を用いた GIC が、p=30 において平均 KL 損失を 1.79（SE: 0.11）にまで低減し、BIC（2.49）や AIC（2.42）を上回る。
• SCAD ペナルティを用いた GIC は、p=30 において感度 56.15（SE: 3.70）を達成し、BIC（9.01）や AIC（10.12）を著しく上回る。
• すべての設定において高い特異性と陽性予測値を維持しており、エッジ選択のロバストネスを示している。
• KL 発散推定器におけるトレース項の効率的近似により、高次元設定でも計算の実行可能性が示された。