[논문 리뷰] Bayesian Multinomial Logistic Normal Models through Marginally Latent Matrix-T Processes

Justin D. Silverman, Kimberly Roche외 3명|arXiv (Cornell University)|2019. 03. 27.

Bayesian Methods and Mixture Models참고 문헌 29인용 수 40

한 줄 요약

한 문장 직접 답변 요약: 이 논문은 Marginally Latent Matrix-T Processes를 도입하여 다항 로지스틱-정규 모델(multinomial logistic-normal models)에 대한 빠르고 확장 가능한 베이지안 추론을 가능하게 하며, collapse-uncollapse (CU) sampler와 Laplace approximation으로 전통적인 MCMC 방식에 비해 효율성을 크게 향상시킨다.

ABSTRACT

Bayesian multinomial logistic-normal (MLN) models are popular for the analysis of sequence count data (e.g., microbiome or gene expression data) due to their ability to model multivariate count data with complex covariance structure. However, existing implementations of MLN models are limited to handling small data sets due to the non-conjugacy of the multinomial and logistic-normal distributions. We introduce MLN models which can be written as marginally latent matrix-t process (LTP) models. Marginally LTP models describe a flexible class of generalized linear regression, non-linear regression, and time series models. We develop inference schemes for Marginally LTP models and, through application to MLN models, demonstrate that our inference schemes are both highly accurate and often 4-5 orders of magnitude faster than MCMC.

연구 동기 및 목표

• 다변량 카운트 데이터에 사용되는 multinomial logistic-normal (MLN) 모델에 대해 효율적인 베이지안 추론의 필요성 제시.
• Marginally Latent Matrix-T Process (Marginally LTP)를 MLN 모델을 포괄하는 일반화 가능한 프레임워크로 도입.
• Collapse-Uncollapse (CU) sampler를 개발하여 collapsed LTP 형태에서 샘플링하고 이를 전체 모델로 uncollapse하는 방법 제시.
• collapsed 형태에서의 샘플링 속도를 높이고 큰 D와 N에 대한 확장성을 입증하기 위해 Laplace 근사를 제공.
• 소프트웨어 구현(R 패키지 stray)과 시뮬레이션 및 마이크로바이옴 데이터에 대한 재현 가능한 결과 제공

제안 방법

• 덧셈 로그-비율 변환(Additive log-ratio transformation)과 행렬-정규(priors)로 MLN 선형 모델 정의.
• 잠재 행렬을 소거(마지널라이즈)하여 행렬-T 프로세스를 얻는 잠재 표현으로 Marginally Latent Matrix-T Process (Marginally LTP) 도입.
• collapsed LTP 형태에서 p(eta|Y)와 p(Psi|eta,Y)를 번갈아 샘플링하는 Collapse-Uncollapse (CU) 샘플러 개발.
• log p(eta|Y)의 MAP와 Hessian을 이용한 Laplace 근사 q(eta|Y)를 도출하여 collapsed-form 샘플링 속도 향상.
• p(Psi|eta,Y)가 GMCL과 GMDLM 부분집합에 대해 표준 베이지안 가우시안 모델로 환원되는지 보이고, 결과 재현을 위한 stray 소프트웨어와 코드 제공.

실험 결과

연구 질문

• RQ1 MLN 모델을 수십에서 수천 개의 카테고리와 샘플에 대해 저차원 근(또는 윈도잉 방식)에 의존하지 않고 확장 가능하게 만들 수 있는가?
• RQ2 Marginally LTP가 일반화된 선형 및 시계열 설정에서 MLN 및 관련 모델에 대해 정확하고 빠른 사후 추론을 제공하는가?
• RQ3 Laplace 근사를 활용한 collapse-uncollapse 추론 체계가 기존 MCMC/VB 방식의 정확도와 효율성에 맞먹거나 능가하는가?
• RQ4 고차원 카운트 데이터 모델에서 Laplace-근사 collapsed 샘플링의 추론 품질에 미치는 영향은 무엇인가?

주요 결과

• Marginally LTP 프레임워크가 GMCL과 GMDLM을 특수한 경우로 포함하여 넓은 모델링 유연성을 가능하게 한다.
• CU 샘플러는 먼저 collapsed LTP p(eta|Y)에서 샘플링한 후 p(Psi|eta,Y)를 샘플링하여 MLN 맥락에서 전체 MCMC 대비 상당한 계산 이점을 얻는다.
• p(eta|Y)에 대한 Laplace 근사를 통해 collapsed 형태의 추정 속도가 추가로 빨라지며 포지셔닝된 후방 근사치가 정확하다.
• 시뮬레이션 전반에 걸쳐 CU 샘플러와 Laplace 근사 조합은 MLN 모델에서 HMC Uncollapsed 및 VB 변형 대비 높은 정확도와 향상된 효율성을 보여주었다.
• 저자들은 시뮬레이션과 마이크로바이옴 데이터 분석을 재현하기 위한 stray R 패키지와 GitHub 코드를 제공한다.