[논문 리뷰] Bayesian Joint Spike-and-Slab Graphical Lasso

Zehang Li, Tyler H. McCormick외 1명|PubMed|2018. 05. 18.

Gaussian Processes and Bayesian Inference참고 문헌 31인용 수 5

한 줄 요약

이 논문은 다중 가우시안 그래픽 모델에서 동시에 희박한 모델 선택과 편향 감소된 매개변수 추정을 가능하게 하기 위해 연속 스파이크 앤 슬래브 사전분포 내에서 그룹 및 융합 그래픽 라소 페널티를 통합한 베이지안 공동 스파이크 앤 슬래브 그래픽 라소(SSFGL) 프레임워크를 제안한다. 이 방법은 빠른 EM 알고리즘을 사용하여 사후 모드를 동적으로 탐색하며, 기존 정규화 접근 방식보다 훨씬 낮은 편향을 보이며 뛰어난 모델 선택 및 추정 정확도를 달성한다.

ABSTRACT

In this article, we propose a new class of priors for Bayesian inference with multiple Gaussian graphical models. We introduce Bayesian treatments of two popular procedures, the group graphical lasso and the fused graphical lasso, and extend them to a continuous spike-and-slab framework to allow self-adaptive shrinkage and model selection simultaneously. We develop an EM algorithm that performs fast and dynamic explorations of posterior modes. Our approach selects sparse models efficiently and automatically with substantially smaller bias than would be induced by alternative regularization procedures. The performance of the proposed methods are demonstrated through simulation and two real data examples.

연구 동기 및 목표

• 더 나은 희박성과 추정 편향 감소를 달성하기 위해 다중 관련 가우시안 그래픽 모델을 공동으로 추정하는 베이지안 프레임워크를 개발하는 것.
• 그룹 및 융합 그래픽 라소 페널티를 자동 모델 선택과 수축을 가능하게 하는 연속 스파이크 앤 슬래브 혼합 사전분포로 확장하는 것.
• 고정된 페널티 파라미터를 사후 추론을 통한 EM 알고리즘으로 대체하여 데이터 기반, 자가 적응형 튜닝을 가능하게 하는 것.
• 작은 표본 크기 또는 누락 데이터가 있는 고차원 설정에서 예측 정확도를 향상시키는 것.
• 스토케스틱 MCMC 방법에 의존하지 않고 사후 모드를 탐색할 수 있는 확장 가능하고 결정론적인 알고리즘을 제공하는 것.

제안 방법

• 이상치가 없는 정밀도 행렬 원소를 점질량(스파이크)과 연속 분포(슬래브)의 혼합으로 모델링하는 이중 스파이크 앤 슬래브(DSS) 혼합 사전분포를 제안하여 자동 변수 선택과 수축을 가능하게 한다.
• DSS 사전분포를 사용하여 그룹 그래픽 라소(GGL)와 융합 그래픽 라소(FGL) 페널티를 베이지안 프레임워크로 확장하여 그룹 간의 희박성 패턴과 값의 유사성을 장려한다.
• E단계(결측치 및 사후 기대값 추정)와 M단계(정밀도 행렬 및 선택 지표 갱신)를 번갈아 가며 수행하는 EM 알고리즘을 개발하여 사후 모드를 효율적으로 탐색한다.
• 다중 고사후밀도 모델을 식별하기 위해 순차적 사후 모드 탐색 절차를 구현하여 국소 최적값에 대한 강건성을 향상시킨다.
• EM 알고리즘의 E단계를 이용해 결측 데이터를 보간하고, 추정된 정밀도 행렬을 예측 작업에 활용한다.
• 결정론적 냉각과 다중 무작위 초기화를 통합하여 복잡한 사후 표면 탐색을 향상시킨다.

실험 결과

연구 질문

• RQ1 베이지안 스파이크 앤 슬래브 프레임워크는 다중 가우시안 그래픽 모델에서 동시에 모델 선택과 매개변수 추정을 향상시킬 수 있는가?
• RQ2 제안된 DSS-FGL/DSS-GGL 방법은 전통적인 공동 그래픽 라소 대비 편향과 희박성 정확도 측면에서 어떻게 비교되는가?
• RQ3 EM 기반 사후 모드 탐색 절차는 정규화 파rameter의 수동 튜닝 의존도를 어느 정도 감소시킬 수 있는가?
• RQ4 작은 그룹 표본 크기에서 고차원 설정에서의 결측 데이터를 효과적으로 처리할 수 있는가?
• RQ5 실제 응용 사례인 사망률 보간에서 자가 적응형 수축 메커니즘이 고정 페널티 정규화보다 우수한 성능을 보일 수 있는가?

주요 결과

• DSS-FGL 방법은 단순 평균 모델 보간 대비 결측 사망률 보간에서 평균 제곱오차(MSE)를 27.8% 감소시켰으며, FGL 대비 6.5% 우수한 성능을 보였다.
• 특히 낮은 표본 크기 설정에서 원래의 공동 그래픽 라소보다 정밀도 행렬 추정에서 훨씬 낮은 편향을 기록했다.
• EM 알고리즘이 최소한의 튜닝으로 고사후밀도 모델을 성공적으로 식별하여 다양한 시뮬레이션 및 실세계 데이터셋에서 강건성과 확장 가능성을 입증했다.
• 연속 스파이크 앤 슬래브 사전분포 덕분에 모델 선택 정확도가 크게 향상되었으며, 이는 관련 엣지와 희박성 패턴의 자동 식별을 가능하게 했다.
• 실세계 인구통계학 및 시뮬레이션 연구에서 모두 구조 학습과 매개변수 추정 측면에서 베이스라인 방법보다 뛰어난 성능을 보였다.
• 보조 자료에 상세히 기술된 바와 같이 게이브스 샘플링을 통해 사후 불확실성을 추정할 수 있어 완전한 베이지안 추론를 지원한다.