[论文解读] Generalized information criterion for model selection in penalized graphical models

Antonino Abbruzzo, Ivan Vujaci+2 more|arXiv (Cornell University)|Mar 5, 2014

Statistical Methods and Inference参考文献 18被引用 5

一句话总结

本文提出了一种广义信息准则（GIC），用于惩罚高斯拷贝图形模型中的模型选择，利用Kullback-Leibler散度估计模型准确性。该方法在高维设置下可实现高效计算，并在支持恢复方面优于AIC、BIC和交叉验证，尤其在稀疏和密集图结构下表现更优。

ABSTRACT

This paper introduces an estimator of the relative directed distance between an estimated model and the true model, based on the Kulback-Leibler divergence and is motivated by the generalized information criterion proposed by Konishi and Kitagawa. This estimator can be used to select model in penalized Gaussian copula graphical models. The use of this estimator is not feasible for high-dimensional cases. However, we derive an efficient way to compute this estimator which is feasible for the latter class of problems. Moreover, this estimator is, generally, appropriate for several penalties such as lasso, adaptive lasso and smoothly clipped absolute deviation penalty. Simulations show that the method performs similarly to KL oracle estimator and it also improves BIC performance in terms of support recovery of the graph. Specifically, we compare our method with Akaike information criterion, Bayesian information criterion and cross validation for band, sparse and dense network structures.

研究动机与目标

• 解决在高维惩罚图形模型中选择最优正则化参数的挑战。
• 开发一种模型选择准则，以近似估计模型与真实模型之间的Kullback-Leibler散度。
• 实现在直接估计不可行的高维设置下，所提出准则的高效计算。
• 在各种网络结构下，评估GIC相对于AIC、BIC和交叉验证的性能表现。
• 展示该方法在稀疏、带状和密集图形模型中支持恢复的鲁棒性与优越性。

提出的方法

• 基于Konishi和Kitagawa的广义信息准则，提出一种利用Kullback-Leibler散度估计估计模型与真实模型之间相对有向距离的估计器。
• 推导出GIC估计器的可行且计算高效的近似形式，以克服高维设置下的不可计算性问题。
• 将GIC应用于高斯拷贝图形模型的惩罚似然估计，支持多种惩罚项，包括Lasso、自适应Lasso和SCAD。
• 将GIC用作模型选择准则，选择使估计KL散度最小化的正则化参数。
• 采用KL散度估计器中迹项的一致近似，以确保计算可扩展性。
• 通过不同图类型（带状、稀疏、密集）和样本大小的模拟验证该方法。

实验结果

研究问题

• RQ1 基于Kullback-Leibler散度的广义信息准则能否有效适配于惩罚高斯拷贝图形模型中的模型选择？
• RQ2 与AIC、BIC和交叉验证相比，所提出的GIC在支持恢复准确性方面表现如何？
• RQ3 在直接估计KL散度不可行的高维图形模型中，GIC是否具有计算可行性？
• RQ4 GIC是否在模型选择一致性方面优于BIC，特别是在稀疏和密集网络结构中？
• RQ5 GIC在不同惩罚类型（如Lasso、自适应Lasso和SCAD）下的表现有何差异？

主要发现

• 在所有模拟设置下，所提出的GIC估计器对Kullback-Leibler散度的近似显著优于AIC。
• 在稀疏和带状网络中，GIC的支持恢复性能与KL虚 oracle估计器相当，优于BIC和AIC。
• 在密集随机图中，采用自适应Lasso惩罚的GIC在p=30时将平均Kullback-Leibler损失降低至1.79（标准误：0.11），优于BIC（2.49）和AIC（2.42）。
• 采用SCAD惩罚的GIC在p=30时达到56.15（标准误：3.70）的敏感度，显著优于BIC（9.01）和AIC（10.12）。
• 在所有设置下，GIC均保持高特异性和阳性预测值，表明其在边选择上的鲁棒性。
• 通过KL散度估计器中迹项的高效近似，该方法在高维设置下展现出计算可行性。