[논문 리뷰] Sparse covariance estimation in heterogeneous samples

Abel Rodríguez, Alex Lenkoski외 1명|arXiv (Cornell University)|2010. 01. 23.

Bayesian Methods and Mixture Models참고 문헌 46인용 수 6

한 줄 요약

이 논문은 무한한 혼합 모델을 사용한 비모수 베이지안 프레임워크를 제안하며, 이는 비균질 샘플에서 희소 공분산 추정을 위해 무한한 가우시안 그래픽 모델(GGM) 혼합모형과 무한한 은닉 마르코프 모델(iHMM)을 사용한다. 딜레트 프로세스 사전분포와 폴리아 우르늄 표현을 활용하여, 이 방법은 하위집단의 수와 그들의 조건부 독립성 구조를 자동으로 추론할 수 있으며, 고차원 데이터에서 비선형성과 시간에 따라 변하는 의존성의 탄력적이고 해석 가능한 모델링을 가능하게 한다.

ABSTRACT

Standard Gaussian graphical models (GGMs) implicitly assume that the conditional independence among variables is common to all observations in the sample. However, in practice, observations are usually collected form heterogeneous populations where such assumption is not satisfied, leading in turn to nonlinear relationships among variables. To tackle these problems we explore mixtures of GGMs; in particular, we consider both infinite mixture models of GGMs and infinite hidden Markov models with GGM emission distributions. Such models allow us to divide a heterogeneous population into homogenous groups, with each cluster having its own conditional independence structure. The main advantage of considering infinite mixtures is that they allow us easily to estimate the number of number of subpopulations in the sample. As an illustration, we study the trends in exchange rate fluctuations in the pre-Euro era. This example demonstrates that the models are very flexible while providing extremely interesting interesting insights into real-life applications.

연구 동기 및 목표

• 모든 관측치에서 동일한 선형 조건부 독립성 구조를 가정하는 표준 가우시안 그래픽 모델(GGM)의 한계를 해결한다.
• 하위집단 간 또는 시간에 따라 조건부 독립성 구조가 변하는 비균질 집단을 모델링하여 비선형 관계를 포착한다.
• 사전에 수를 지정하지 않고도 군집 수나 은닉 상태 수를 자동으로 추정하는 완전한 베이지안 비모수적 접근법을 개발한다.
• 고차원 데이터(예: 유전자 발현 또는 금융 시계열)에 적합한 희소하고 해석 가능한 그래픽 모델을 각 군집 또는 상태별로 제공한다.
• GGM 매개수에 대한 마진화와 폴리아 우르늄 샘플러를 사용한 계산적으로 타당한 MCMC 프레임워크를 제공하여 평균과 공분산을 직접 추정하는 것을 피한다.

제안 방법

• 모수 수가 알려져 있지 않고 데이터 기반으로 결정되는 군집 수를 允허하기 위해 딜레트 프로세스 사전분포를 사용한 무한한 GGM 혼합모형(GGM-DPM)을 사용한다.
• 시간에 따라 변하는 조건부 독립성 구조를 모델링하기 위해 GGM 발화 분포를 갖는 무한한 은닉 마르코프 모델(iHMM)을 활용한다.
• 폴리아 우르늄 표현을 적용하여, 하나의 관측치씩 군집 할당을 갱신하는 게비스 샘플러를 구성하며, GGM 평균과 정밀도를 통합한다.
• 농도 매개수 α₀와 α를 효율적으로 샘플링하기 위해 보조 변수 기법을 사용하여 감마 및 베타 분포를 통한 완전한 조건부 갱신을 가능하게 한다.
• 가능한 한 분석적 형태로 각 군집의 마진형 우도와 예측 분포를 통합하며, 분해 불가능한 그래프의 경우 수치적 근사치를 사용한다.
• 정밀도 행렬의 희소성에 기반한 조건부 독립성을 활용하여 각 구성요소에 대해 희소 그래픽 구조를 강제함으로써, 이해 가능성과 계산 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 하위집단 간 조건부 독립성 구조가 다른 비균질 다변량 데이터는 어떻게 모델링할 수 있는가?
• RQ2 비모수 베이지안 프레임워크에서 기저의 하위집단 수나 은닉 상태 수를 자동으로 추론할 수 있는가?
• RQ3 유연한 비선형 관계를 허용하면서도 군집별 그래픽 모델의 희소성을 유지하는 방법은 무엇인가?
• RQ4 모델의 구성 요소 수가 알려져 있지 않은 고차원 GGM 혼합모형에서 효율적인 사후 추론을 위한 계산 전략은 무엇인가?
• RQ5 무한한 GGM 혼합모형은 환율 변동과 같은 다변량 시계열에서 시간에 따라 변하는 의존성을 어느 정도 잘 포착할 수 있는가?

주요 결과

• 제안된 GGM-DPM 및 iHMM 프레임워크는 비균질 데이터에서 각각 고유한 희소 조건부 독립성 구조를 가진 명확한 하위집단을 성공적으로 식별한다.
• 비모수 사전분포를 통해 군집 수나 상태 수를 자동으로 추론하여 모델 선택 기준이 필요 없어진다.
• 폴리아 우르늄 샘플러와 GGM 매개수의 마진화를 통해 평균과 공분산 행렬을 직접 샘플링하지 않아 계산 부담이 감소한다.
• 프리유로 시대의 환율 데이터에서 시간에 따라 변하는 의존성을 포착하여 경제 블록 간 상호작용의 변화를 드러낸다.
• 마진형 우도와 예측 분포의 수치적 근사치를 통해 비분해 가능 그래프로의 일반화가 가능하다.
• 변수 수 p가 중간 수준일 경우 확장 가능하며, 히우리스틱 검색 알고리즘을 활용해 고차원 설정으로의 확장 가능성이 있다.