[논문 리뷰] Tuning parameter selection for penalized likelihood estimation of inverse covariance matrix

Xin Gao, Daniel Q. Pu외 2명|ArXiv.org|2009. 09. 04.

Advanced Statistical Methods and Models참고 문헌 13인용 수 9

한 줄 요약

이 논문은 가우시안 그래프 모델에서 SCAD 및 적응형 LASSO 페널티를 사용할 때, 정규화된 우도 추정의 역공분산 행렬에 대한 베이지안 정보 기준(BIC)의 일致성을 확립한다. BIC는 표본 크기가 증가함에 따라 진정한 그래프적 구조를 일관되게 식별함을 보여주며, 큰 표본에서는 교차검증보다 뛰어난 성능을 보이며, 작은 표본에서도 강력한 성능을 유지한다.

ABSTRACT

In a Gaussian graphical model, the conditional independence between two variables are characterized by the corresponding zero entries in the inverse covariance matrix. Maximum likelihood method using the smoothly clipped absolute deviation (SCAD) penalty (Fan and Li, 2001) and the adaptive LASSO penalty (Zou, 2006) have been proposed in literature. In this article, we establish the result that using Bayesian information criterion (BIC) to select the tuning parameter in penalized likelihood estimation with both types of penalties can lead to consistent graphical model selection. We compare the empirical performance of BIC with cross validation method and demonstrate the advantageous performance of BIC criterion for tuning parameter selection through simulation studies.

연구 동기 및 목표

• SCAD 및 적응형 LASSO 페널티 하에서 희박한 역공분산 행렬 추정에 대한 BIC의 이론적 일관성을 확립하는 것.
• 그래프 모델 선택을 위한 조정 파rameter 선택에서 BIC와 교차검증의 경험적 성능을 비교하는 것.
• 표본 크기가 증가함에 따라 BIC가 진정한 그래프적 구조를 확률이 1로 수렴하는 방식으로 일관되게 회복함을 보여주는 것.
• 고차원 그래프 모델에서 교차검증의 계산 비용이 과도해지는 상황에서, 계산적으로 효율적이고 이론적으로 타당한 대안을 제공하는 것.

제안 방법

• 희박성을 유도하기 위해 SCAD 및 적응형 LASSO 페널티를 사용한 역공분산 행렬의 정규화된 우도 추정을 수립한다.
• 모델 적합도와 복잡도의 균형을 이루는 최적의 조정 파rameter를 선택하기 위해 베이지안 정보 기준(BIC)을 기준으로 적용한다.
• 비볼록 페널티(예: SCAD, 적응형 LASSO)를 가중 L1-페널티 문제로 변환하기 위해 국소선형근사(LLA)를 활용하며, 기존 알고리즘(예: 그래픽스 LASSO)을 통해 해를 구한다.
• 다양한 표본 크기와 그래프 구조에서 특이도(SPEC), 민감도(SENS), 매튜스 상관계수(MCC)를 기준으로 BIC와 교차검증의 성능을 비교하기 위해 시뮬레이션 연구를 수행한다.
• BIC가 선택한 조정 파arameter가 渐近적으로 진정한 그래프 모델의 구조를 회복함을 보여주는 이론적 일관성 결과를 도출한다.

실험 결과

연구 질문

• RQ1 SCAD 또는 적응형 LASSO 페널티를 사용할 때, 역공분산 행렬 추정에서 BIC가 진정한 그래프 모델의 구조를 일관되게 선택할 수 있는가?
• RQ2 다양한 표본 크기와 그래프 희박성 수준에서 BIC와 교차검증의 모델 선택 정확도는 어떻게 비교되는가?
• RQ3 특히 교차검증의 계산 비용이 과도해지는 고차원 설정(p >> n)에서 BIC는 높은 성능을 유지하는가?
• RQ4 특이도, 민감도, MCC 측면에서 BIC가 교차검증를 능가하는 조건은 무엇인가?

주요 결과

• SCAD 및 적응형 LASSO 페널티 하에서 표본 크기 n → ∞로 갈수록 BIC는 진정한 그래프 모델의 구조를 확률이 1로 수렴하는 방식으로 일관되게 선택한다.
• 작은 표본(n = 100)에서는 BIC가 교차검증과 유사한 성능을 보이며, p = 35, AR(1) 모델에서 적응형 LASSO의 경우 BIC의 MCC는 0.568, CV는 0.533이다.
• 표본 크기가 증가함(n = 10,000)에 따라 BIC는 교차검증을 일관되게 능가한다. p = 35, AR(1) 모델에서 BIC는 MCC = 0.839(ADAP)를 기록한 반면, CV는 0.697이다.
• 노드당 3개의 간선을 가진 희박한 그래프에서는 BIC가 높은 특이도(예: p=35, n=10,000일 때 0.932)와 완벽한 민감도(1.000)를 유지하지만, CV는 낮은 특이도(0.657)와 MCC(0.407)를 보인다.
• 더 높은 희박성을 가진 AR(2) 모델에서는 BIC가 p=35, n=10,000에서 적응형 LASSO로 MCC = 0.954를 기록하며, 이는 CV의 MCC = 0.810을 크게 상회한다.
• AR(1), AR(2), 희박한 그래프 등 다양한 그래프 유형에 대해 BIC의 일관성이 뛰어나며, 대표적인 표본 크기의 점근적 성질 하에서 진정한 구조를 일관되게 회복한다.