[논문 리뷰] A note on MCMC for nested multilevel regression models via belief propagation

Omiros Papaspiliopoulos, Giacomo Zanella|arXiv (Cornell University)|2017. 04. 20.

Gaussian Processes and Bayesian Inference참고 문헌 7인용 수 7

한 줄 요약

이 논문은 고차원 정규 사후분포에서 정확하게 샘플링할 수 있도록 신뢰도 전파를 활용하여, 중첩 다수준 회귀 모델에 대한 효율적인 마르코프 체인 몬테카를로(MCMC) 알고리즘을 제안한다. 이 방법은 매개변수 수에 대해 선형 시간 복잡도를 달성하며, 레벨 간 선형 제약 조건을 포함한 특이 공분산 구조를도 처리할 수 있다. 이는 그래픽 모델의 구조와 희소 정밀도 행렬을 활용함으로써 달성된다.

ABSTRACT

In the quest for scalable Bayesian computational algorithms we need to exploit the full potential of existing methodologies. In this note we point out that message passing algorithms, which are very well developed for inference in graphical models, appear to be largely unexplored for scalable inference in Bayesian multilevel regression models. We show that nested multilevel regression models with Gaussian errors lend themselves very naturally to the combined use of belief propagation and MCMC. Specifically, the posterior distribution of the regression parameters conditionally on covariance hyperparameters is a high-dimensional Gaussian that can be sampled exactly (as well as marginalized) using belief propagation at a cost that scales linearly in the number of parameters and data. We derive an algorithm that works efficiently even for conditionally singular Gaussian distributions, e.g., when there are linear constraints between the parameters at different levels. We show that allowing for such non-invertible Gaussians is critical for belief propagation to be applicable to a large class of nested multilevel models. From a different perspective, the methodology proposed can be seen as a generalization of forward-backward algorithms for sampling to multilevel regressions with tree-structure graphical models, as opposed to single-branch trees used in classical Kalman filter contexts.

연구 동기 및 목표

• 대규모 중첩 다수준 회귀 모델에 대한 베이지안 추론의 확장성 문제를 해결한다.
• 초모수 조건 하에서 회귀 계수의 사후분포에 대한 정확한 샘플링 알고리즘을 개발한다.
• 계층 모델에서 발생하는 선형 제약 조건으로 인한 조건부 특이 정규 분포를 다룰 수 있도록 신뢰도 전파를 확장한다.
• 신뢰도 전파와 희소 선형 대수 기법을 통합하여 효율적인 사후분포 계산을 위한 통합 계산 프레임워크를 제공한다.
• 혼합효과 모델을 중첩 다수준 구조의 특수한 경우로 간주함으로써, 이 방법의 적용 가능성을 입증한다.

제안 방법

• 변수 노드와 요인 노드로 구성된 요인 그래프를 사용하여, 회귀 매개변수의 결합 사후분포를 정규 그래픽 모델로 표현한다.
• 요인 그래프 상에서 전진-역행 메시지 전파를 통한 신뢰도 전파를 적용하여 정확한 주변 분포를 계산하고 전체 사후분포에서 샘플링한다.
• 노드 간에 충분통계량을 전파하는 메시지 전파 식을 유도하며, 조건부 밀도의 적분과 들어오는 메시지의 곱을 사용한다.
• 역행 불가능한 사전 공분산 행렬을 처리하기 위해 정규 분포의 캐논ical 매개변수화를 사용하여, 선형 제약 조건이 존재하는 경우에도 정확한 계산이 가능하도록 한다.
• 잠재 정규 모델에서 정밀도 행렬의 희소성을 활용하여 계산 효율성을 확보하며, 매개변수 수에 따라 복잡도가 선형으로 증가한다.
• 기존의 희소 선형 대수 기법과 신뢰도 전파 프레임워크를 통합하여, 정밀도 행렬의 알려진 영 값 패턴을 활용해 콜레프스키 분해를 효율적으로 계산한다.

실험 결과

연구 질문

• RQ1 신뢰도 전파를 사용하여 중첩 다수준 모델의 회귀 계수 사후분포에서 정확한 MCMC 샘플링을 수행할 수 있는가?
• RQ2 사전 공분산 행렬이 특이하거나 제약 조건이 있을 경우에도 제안된 방법이 매개변수 수에 대해 선형 시간 복잡도를 유지하는가?
• RQ3 다수준 모델에서 계층 수준 간 매개변수 간 선형 종속성을 다루기 위해 신뢰도 전파를 어떻게 적응시킬 수 있는가?
• RQ4 정규 그래픽 모델을 위한 계층적 회귀 모델에서, 신뢰도 전파, 칼만 필터링, 희소 선형 대수 간의 관계는 무엇인가?
• RQ5 혼합효과 모델을 중첩 다수준 구조의 특수한 경우로 간주함으로써, 이 프레임워크를 어떻게 확장할 수 있는가?

주요 결과

• 초모수 조건 하에서 회귀 계수의 사후분포는 고차원 정규분포이며, 신뢰도 전파를 통해 정확하게 샘플링할 수 있다.
• 알고리즘은 매개변수 수와 데이터 포인트 수에 대해 선형 시간 복잡도를 달성하여 대규모 모델에 대해 확장 가능하다.
• 선형 제약 조건으로 인해 발생하는 조건부 특이 정규 분포에 대해서도 이 방법은 유효하고 효율적이다.
• 신뢰도 전파 프레임워크는 혼합효과 모델을 구조화된 사전 공분산 행렬을 가진 중첩 다수준 구조로 간주함으로써 성공적으로 처리한다.
• 이 접근법은 그래픽 모델, 신뢰도 전파, 희소 선형 대수를 통합하여 효율적인 사후분포 계산을 위한 통합 계산 프레임워크를 제공한다.
• 이 연구는 신뢰도 전파와 칼만 필터링 간의 명확한 연결 고리를 설정하며, 정규 트리 모델에서 메시지 전파가 칼만 재귀와 일치함을 보여주며, 확장 가능한 베이지안 추론에 광범위한 함의를 가진다.