[논문 리뷰] Penalized Maximum Likelihood Estimation of Multi-layered Gaussian Graphical Models

Jiahe Lin, Sumanta Basu외 2명|arXiv (Cornell University)|2016. 01. 05.

Statistical Methods and Inference참고 문헌 33인용 수 18

한 줄 요약

이 논문은 블록 좌표 강하 알고리즘을 사용하여 다층 가우시안 그래픽 모델에 대한 페널라이즈드 최대우도추정량을 제안하며, 계층 간의 유 directed edges와 계층 내의 유 undirected edges를 번갈아가며 반복적으로 추정함으로써, 이중볼록 최적화와 균일 오차 통제를 통해 고차원 설정에서 일致성을 달성한다.

ABSTRACT

Analyzing multi-layered graphical models provides insight into understanding the conditional relationships among nodes within layers after adjusting for and quantifying the effects of nodes from other layers. We obtain the penalized maximum likelihood estimator for Gaussian multi-layered graphical models, based on a computational approach involving screening of variables, iterative estimation of the directed edges between layers and undirected edges within layers and a final refitting and stability selection step that provides improved performance in finite sample settings. We establish the consistency of the estimator in a high-dimensional setting. To obtain this result, we develop a strategy that leverages the biconvexity of the likelihood function to ensure convergence of the developed iterative algorithm to a stationary point, as well as careful uniform error control of the estimates over iterations. The performance of the maximum likelihood estimator is illustrated on synthetic data.

연구 동기 및 목표

• 유 directed 및 undirected edges를 모두 포함하는 다층 그래픽 모델을 추정하기 위한 이론적 및 계산적 방법의 부족을 해결한다.
• 고차원 다층 가우시안 그래픽 모델에 대한 확장 가능하고 일관된 추정 절차를 개발한다.
• 선별, directed 및 undirected edges의 반복적 추정, 안정성 선택을 통합하여 유한 표본 성능을 향상시킨다.
• 고차원 점점 증가하는 설정 하에서 추정량의 이론적 일관성을 확립한다.
• 이중볼록성과 반복 간 균일 오차 통제를 통해 정류점으로의 수렴을 보장한다.

제안 방법

• 변수 선별 후 directed 및 undirected edges의 반복적 추정을 수행하는 이중단계 계산 접근법을 사용한다.
• 계수 행렬 B(유 directed edges)와 정밀도 행렬 Θε(유 undirected edges)를 번갈아가며 추정하기 위해 블록 좌표 강하를 적용한다.
• 각 반복에서 잔차를 추정된 오차 분산으로 조정한 데비어스드 Lasso 기반 접근법을 사용해 B를 열 단위로 갱신한다.
• 비대칭 요소에 ℓ1 페널티를 적용한 그래픽 라소(glasso)를 사용하여 정밀도 행렬 Θε을 갱신한다.
• 순환 업데이트보다 더 빠른 수렴을 가능하게 하는 (p₂+1)-블록 업데이트 전략을 수정하여 구현한다.
• 부트스트랩 샘플을 사용한 안정성 선택을 통합하여 선택 정확도를 향상시키고 거짓 긍정을 줄인다.

실험 결과

연구 질문

• RQ1 고차원 다층 가우시안 그래픽 모델에서 페널라이즈드 최대우도추정량이 일관성 있게 추정될 수 있는가?
• RQ2 우리의 우도 함수의 이중볼록성은 반복 알고리즘의 수렴을 보장하기 위해 어떻게 활용될 수 있는가?
• RQ3 병렬 처리와 반복적 업데이트 전략은 계산 효율성과 추정 정확도에 어떤 영향을 미치는가?
• RQ4 선별, 반복적 추정, 안정성 선택의 조합은 유한 표본 성능을 어떻게 향상시키는가?
• RQ5 고차원 점점 증가하는 설정 하에서 추정량의 일관성에 대해 어떤 이론적 보장을 확보할 수 있는가?

주요 결과

• 적절한 정규성 조건 하에서 제안된 추정량은 고차원 설정에서 일관성을 확보한다.
• 우도 함수의 이중볼록성과 철저한 균일 오차 통제 덕분에 알고리즘이 정류점으로 수렴한다.
• (p₂+1)-블록 업데이트와 병렬 처리를 통해 표준 2-블록 업데이트 대비 계산 시간을 약 1/7로 줄일 수 있다.
• 합성 데이터를 통한 실험에서 기존 방법에 비해 계산 효율성과 유한 표본 성능 모두에서 뛰어난 성능을 보였다.
• 50개의 부트스트랩 샘플을 사용한 안정성 선택은 강건한 변수 선택과 향상된 추정 정확도를 제공한다.
• 재귀적 회귀 및 재적합 단계의 병렬 처리를 통해 계산 시간을 크게 줄이면서도 추정 정확도를 유지한다.