[논문 리뷰] Generalized information criterion for model selection in penalized graphical models

Antonino Abbruzzo, Ivan Vujaci외 2명|arXiv (Cornell University)|2014. 03. 05.

Statistical Methods and Inference참고 문헌 18인용 수 5

한 줄 요약

이 논문은 페널라이제이션된 가우시안 코페우라 그래픽스 모델에서 모델 선택을 위한 일반화된 정보기준(GIC)을 제안한다. 이는 Kullback-Leibler 발산을 활용하여 모델 정확도를 추정하며, 고차원 설정에서 효율적인 계산을 가능하게 하고, 특히 희박하고 조밀한 그래프 구조에서 AIC, BIC 및 교차검증보다 지원 복구 성능이 뛰어나다.

ABSTRACT

This paper introduces an estimator of the relative directed distance between an estimated model and the true model, based on the Kulback-Leibler divergence and is motivated by the generalized information criterion proposed by Konishi and Kitagawa. This estimator can be used to select model in penalized Gaussian copula graphical models. The use of this estimator is not feasible for high-dimensional cases. However, we derive an efficient way to compute this estimator which is feasible for the latter class of problems. Moreover, this estimator is, generally, appropriate for several penalties such as lasso, adaptive lasso and smoothly clipped absolute deviation penalty. Simulations show that the method performs similarly to KL oracle estimator and it also improves BIC performance in terms of support recovery of the graph. Specifically, we compare our method with Akaike information criterion, Bayesian information criterion and cross validation for band, sparse and dense network structures.

연구 동기 및 목표

• 고차원 페널라이제이션된 그래픽스 모델에서 최적의 정규화 파라미터를 선택하는 데 도전하는 것.
• 추정된 모델과 진짜 모델 간의 Kullback-Leibler 발산을 근사하는 모델 선택 기준을 개발하는 것.
• 직접 추정이 불가능한 고차원 설정에서 제안된 기준의 효율적인 계산을 가능하게 하는 것.
• 다양한 네트워크 구조에서 기존 기준인 AIC, BIC 및 교차검증과의 성능을 평가하는 것.
• 희박한, 밴드형, 조밀한 그래픽스 모델에서의 모델 선택 정확도와 강건성을 입증하는 것.

제안 방법

• Konishi와 Kitagawa의 일반화된 정보기준을 영감으로 받아, 추정된 모델과 진짜 모델 간의 상대적인 방향 거리의 추정량을 Kullback-Leibler 발산을 활용해 제안한다.
• 고차원 설정에서의 비가역성 문제를 해결하기 위해 GIC 추정량의 실용적이고 계산 효율적인 근사치를 유도한다.
• 다중 페널티(lasso, 적응형 lasso, SCAD 포함)를 수용하는 가우시안 코페우라 그래픽스 모델에서의 페널라이제이션된 우도 추정에 GIC를 적용한다.
• 추정된 KL 발산을 최소화하는 정규화 파라미터를 선택하기 위해 GIC를 모델 선택 기준으로 사용한다.
• 계산 확장성을 보장하기 위해 KL 발산 추정량의 트레이스 항목에 대해 일致한 근사치를 활용한다.
• 다양한 그래프 유형(밴드, 희박, 조밀)과 표본 크기에서의 시뮬레이션을 통해 방법의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 Kullback-Leibler 발산을 기반으로 한 일반화된 정보기준이 페널라이제이션된 가우시안 코페우라 그래픽스 모델에서의 모델 선택에 효과적으로 적용될 수 있는가?
• RQ2 제안된 GIC는 AIC, BIC 및 교차검증과 비교해 지원 복구 정확도에서 어떻게 성능을 내는가?
• RQ3 직접 KL 발산을 추정할 수 없는 고차원 그래픽스 모델에서 GIC는 계산적으로 실현 가능한가?
• RQ4 특히 희박하고 조밀한 네트워크 구조에서, GIC는 BIC보다 모델 선택 일致성 면에서 향상되는가?
• RQ5 lasso, 적응형 lasso, SCAD와 같은 다양한 페널티 유형에서 GIC의 성능은 어떻게 변화하는가?

주요 결과

• 모든 시뮬레이션 설정에서 AIC보다 제안된 GIC 추정량이 Kullback-Leibler 발산을 훨씬 더 정확하게 근사한다.
• 희박한 네트워크와 밴드 네트워크에서는 GIC가 KL 오라클 추정량과 유사한 지원 복구 성능을 달성하며, BIC 및 AIC를 능가한다.
• 조밀한 무작위 그래프에서는 적응형 lasso를 사용한 GIC가 p=30일 때 평균 KL 손실을 1.79(SE: 0.11)로 줄여 BIC(2.49) 및 AIC(2.42)를 능가한다.
• SCAD 페널티를 사용한 GIC는 p=30일 때 민감도를 56.15(SE: 3.70)로 기록하며, BIC(9.01) 및 AIC(10.12)를 크게 앞서며 뚜렷한 우월성을 보였다.
• 모든 설정에서 높은 특이도와 양성 예측도를 유지하여 간선 선택의 강건성을 입증하였다.
• KL 발산 추정량의 트레이스 항목에 대한 효율적 근사치를 활용함으로써 고차원 설정에서도 계산 가능성을 입증하였다.