[논문 리뷰] Extended Bayesian Information Criteria for Gaussian Graphical Models

Rina Foygel, Mathias Drton|arXiv (Cornell University)|2010. 11. 30.

Statistical Methods and Inference참고 문헌 10인용 수 709

한 줄 요약

이 논문은 변수 수 $p$와 표본 크기 $n$이 모두 증가하는 고차원 설정에서도 일致성을 유지하는 가우시안 그래픽 모델을 위한 확장된 베이지안 정보기준(EBIC)을 제안한다. 조정 가능한 펜얼티 파라미터 $ olimits\gamma$를 도입함으로써 모델 복잡도에 대한 페널티를 강화하고 더 흐린 모델을 선호함으로써 구조 학습을 향상시키며, $p$, $n$, 그리고 비제로 매개변수 수 $q$에 대한 약한 성장 조건 하에서 진짜 그래픽 구조를 일관되게 복원할 수 있음을 이론적으로 보여준다. $p$와 $q$가 $n$과 비슷하게 증가할 때 시뮬레이션에서 표준 BIC와 교차검증보다 성능이 뛰어나다.

ABSTRACT

Gaussian graphical models with sparsity in the inverse covariance matrix are of significant interest in many modern applications. For the problem of recovering the graphical structure, information criteria provide useful optimization objectives for algorithms searching through sets of graphs or for selection of tuning parameters of other methods such as the graphical lasso, which is a likelihood penalization technique. In this paper we establish the consistency of an extended Bayesian information criterion for Gaussian graphical models in a scenario where both the number of variables p and the sample size n grow. Compared to earlier work on the regression case, our treatment allows for growth in the number of non-zero parameters in the true model, which is necessary in order to cover connected graphs. We demonstrate the performance of this criterion on simulated data when used in conjunction with the graphical lasso, and verify that the criterion indeed performs better than either cross-validation or the ordinary Bayesian information criterion when p and the number of non-zero parameters q both scale with n.

연구 동기 및 목표

• 변수 수 $p$와 표본 크기 $n$이 모두 증가하는 고차원 설정에서 일관된 그래픽 모델 선택 문제를 다루는 것.
• 고정된 $p$를 가정하는 고전적 BIC의 한계를 극복하기 위해 기준을 확장하여 증가하는 모델 복잡도와 연결된 그래프를 처리할 수 있도록 하는 것.
• 진짜 모델의 비제로 매개변수 수가 $n$과 함께 증가할 때에도 일관성을 유지하는 이론적으로 타당한 정보기준을 개발하는 것.
• 그래픽 라소와 같은 방법의 페널티 파라미터 선택을 위한 교차검증과 표준 BIC의 실용적 대안을 제공하는 것.
• 모델 복잡도가 $p$와 $q$가 $n$과 함께 중간 정도로 증가하는 비점근적 프레임워크 하에서 확장된 BIC의 이론적 일관성을 확립하는 것.

제안 방법

• 확장된 BIC는 $\text{BIC}_\gamma(\mathbf{E}) = -2l_n(\hat{\Theta}(\mathbf{E})) + |\mathbf{E}|\log n + 4|\mathbf{E}|\gamma\log p$로 정의되며, 여기서 $\mathbf{E}$는 후보 그래프의 간선 집합이고 $l_n$은 최대화된 로그우도이다.
• 페널티 항 $4|\mathbf{E}|\gamma\log p$는 모델 복잡도에 대한 페널티를 증가시키며, $\gamma \in [0,1]$은 페널티 강도를 조절한다.
• 모델 복잡도가 $|\mathbf{E}| \leq q$인 분해 가능 그래프의 제한된 모델 공간에 대한 전수 검색을 고려한다. 여기서 $q$는 $n$과 함께 증가한다.
• 이론적 분석은 우도 차이에 대한 농도 부등식(CSB), 고유값 경계, 베타 및 카이제곱 분포를 통한 확률적 지배를 활용한다.
• 모든 후보 모델에 대해 $|\mathbf{E}| \leq q$인 유니온 바운드를 사용하여 비점근적 경계를 도출함으로써 고확률 일관성을 보장한다.
• 핵심 기술 도구로 로그우도의 테일러 전개, 스코어 벡터의 프로베니우스 노름 제어, 헤시안 행렬의 고유값 제어를 사용한다.

실험 결과

연구 질문

• RQ1 변수 수 $p$와 표본 크기 $n$이 모두 증가할 때, 조정 가능한 $\gamma$ 파라미터를 가진 확장된 BIC가 그래픽 모델 선택에서 일관성을 유지할 수 있는가?
• RQ2 변수 수 $p$와 비제로 매개변수 수 $q$가 $n$과 함께 증가하는 고차원 설정에서, 확장된 BIC가 표준 BIC와 교차검증보다 성능이 뛰어나게 되는가?
• RQ3 모델 복잡도가 증가하는 경우, 즉 $q = |\mathbf{E}_0|$가 증가하는 연결된 그래프를 포함하여도 확장된 BIC는 일관성이 있는가?
• RQ4 선택된 $\gamma$ 값이 고차원 가우시안 그래픽 모델에서 모델 선택 일관성과 페널티 강도 사이의 트레이드오���에 어떤 영향을 미치는가?
• RQ5 확장된 BIC는 이론적 일관성 증명의 가정을 초월하여 그래픽 라소와 효과적으로 조합되어 실용적인 구조 학습에 활용될 수 있는가?

주요 결과

• 확장된 BIC에서 $\gamma > 1 - \frac{1}{4\kappa}$일 경우, $p$, $n$, $q$에 대한 약한 성장 조건 하에서 진짜 그래픽 구조 $\mathbf{E}_0$를 고확률로 일관되게 복원할 수 있다.
• 비점근적 조건 (5)와 (6) 하에서, 확장된 BIC는 진짜 모델 $\mathbf{E}_0$를 확률 최소 $1 - \frac{1}{4\sqrt{\pi}\log p}\frac{p^{-\epsilon_0}}{1-p^{-\epsilon_0}} - \frac{1}{\sqrt{\pi\log p}}p^{-\epsilon_1}$로 선택한다.
• 시뮬레이션 결과에서 $p$와 $q$가 $n$과 함께 증가할 때, 표준 BIC와 교차검증보다 확장된 BIC가 더 뛰어난 성능을 보이며, 특히 정확한 간선 집합을 복원하는 데 유리하다.
• 양수인 $\gamma$ 값은 복잡한 모델에 대해 더 강한 페널티를 적용하며, 이는 비제로 매개변수 수가 $n$과 함께 증가할 때 일관성 확보에 필수적이다.
• 진짜 모델의 간선 수가 증가하는 경우에도 확장된 BIC의 이론적 일관성은 유지되며, 이는 연결된 그래프를 포함하는 데 필수적이다.
• 실험 결과는 확장된 BIC를 그래픽 라소와 조합할 경우, 일관성 증명의 이론적 가정을 초월하더라도 고차원 설정에서 그래프 추론 성능이 향상됨을 확인한다.