[논문 리뷰] A Divide and Conquer Strategy for High Dimensional Bayesian Factor Models

Gautam Sabnis, Debdeep Pati외 2명|arXiv (Cornell University)|2016. 12. 09.

Bayesian Methods and Mixture Models참고 문헌 18인용 수 4

한 줄 요약

이 논문은 차원 수 $ p $ 를 분할하고 표본 수 $ n $ 는 그대로 두는 새로운 분할-정복 프레임워크를 제안한다. 이는 다중 코어에서의 병렬 계산을 가능하게 하며, 잠재 요인에 계층적 구조를 도입함으로써 차원 간 상관관계를 효과적으로 포착하면서도 전체 모델 추론에 비해 수개의 주기수에 이르는 속도 향상을 달성한다.

ABSTRACT

We propose a distributed computing framework, based on a divide and conquer strategy and hierarchical modeling, to accelerate posterior inference for high-dimensional Bayesian factor models. Our approach distributes the task of high-dimensional covariance matrix estimation to multiple cores, solves each subproblem separately via a latent factor model, and then combines these estimates to produce a global estimate of the covariance matrix. Existing divide and conquer methods focus exclusively on dividing the total number of observations $n$ into subsamples while keeping the dimension $p$ fixed. Our approach is novel in this regard: it includes all of the $n$ samples in each subproblem and, instead, splits the dimension $p$ into smaller subsets for each subproblem. The subproblems themselves can be challenging to solve when $p$ is large due to the dependencies across dimensions. To circumvent this issue, we specify a novel hierarchical structure on the latent factors that allows for flexible dependencies across dimensions, while still maintaining computational efficiency. Our approach is readily parallelizable and is shown to have computational efficiency of several orders of magnitude in comparison to fitting a full factor model. We report the performance of our method in synthetic examples and a genomics application.

연구 동기 및 목표

• 크게 증가한 $ p $ 를 가진 고차원 베이지안 요인 모델에서 사후 추론의 계산적 제약을 해결하기 위해.
• 표본 수 $ n $ 를 부분집합으로 나누는 대신 차원 수 $ p $ 를 여러 코어에 분배하여 확장 가능하고 병렬 처리 가능한 추론을 가능하게 하기 위해.
• ‘정복’ 단계 동안 차원 간 의존성을 유지하고 사후 불확실성을 보존하는 계층적 모델링 프레임워크를 개발하기 위해.
• 고차원 설정에서 통계적 정확도를 희생시키지 않으면서도 상당한 계산 효율성 향상을 달성하기 위해.

제안 방법

• 모델은 고차원 데이터를 서로소인 부분집합들로 나누어 각각 별도의 코어에서 독립적으로 처리하는 방식으로 차원 $ p $ 를 분할한다.
• 각 하위문제는 요인 하중에 수축 사전확률을 도입하여 희박성과 계산의 타당성을 확보하는 잠재 요인 모델을 사용한다.
• 잠재 요인에 대해 이중 수준의 계층적 사전확률을 도입하여 차원 간 상관관계를 모델링하고, 민감하고 일관된 전역 추정을 가능하게 한다.
• 사후 추론은 $ X_i $, $ Z_i^{(m)} $, $ heta_i^{(m)} $, $ oldsymbol{eta}_j^{(m)} $, $ oldsymbol{ au}_j^{(m)} $, 및 $ oldsymbol{ ho} $ 의 조건부 갱신을 반복하는 게lesi 샘플러를 통해 수행되며, 코어 간 정보 공유가 이루어진다.
• 전역 공분산 추정치는 하위 추정치를 계층적 구조를 통해 조합함으로써 차원 간 불확실성과 의존성 구조를 유지한다.
• 각 코어가 변수의 부분집합을 처리하고 공유된 사후 양상들을 통해 요약 통계를 교환함으로써 즉각적으로 병렬 처리가 가능하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 표본 수 $ n $ 가 아닌 차원 수 $ p $ 를 분할하는 분할-정복 전략이 고차원 베이지안 요인 모델에서 확장 가능한 추론을 달성할 수 있는가?
• RQ2 분산 환경에서 하위 추정치를 조합할 때 차원 간 의존성을 어떻게 민감하게 모델링할 수 있는가?
• RQ3 이러한 접근은 고차원 설정에서 전체 모델 MCMC 추론에 비해 얼마나 높은 계산 효율성을 달성하는가?
• RQ4 잠재 요인에 대한 제안된 계층적 사전확률이 사후 불확실성과 차원 간 의존성을 적절히 포착하는가?

주요 결과

• 제안된 방법은 전체 베이지안 요인 모델을 적합하는 것에 비해 수개의 주기수에 이르는 계산 효율성 향상을 달성한다.
• 잠재 요인에 대한 계층적 사전확률은 계산 효율성을 유지하면서도 차원 간 의존성을 민감하게 모델링할 수 있다.
• 이 방법은 단순 평균화 기법을 사용한 이전의 분할-정복 접근 방식보다 사후 불확실성과 통계적 정밀도를 효과적으로 유지한다.
• 합성 데이터와 유전체학 응용에 대한 실증 결과는 진짜 공분산 구조와 요인 하중을 정확하게 복원함을 보여준다.
• 게lesi 샘플러는 코어 간 공유된 사후 양상을 활용하여 효율적으로 수렴함으로써 확장 가능한 사후 계산을 가능하게 한다.
• 메모리와 계산 자원의 제약으로 전체 모델 MCMC가 비가능해지는 고차원 설정에서도 이 프레임워크는 강건성을 유지한다.