[논문 리뷰] Streamlined Computing for Variational Inference with Higher Level Random Effects

Tui H. Nolan, Marianne Menictas외 1명|arXiv (Cornell University)|2019. 03. 07.

Gaussian Processes and Bayesian Inference참고 문헌 20인용 수 9

한 줄 요약

이 논문은 두 수준 및 세 수준의 랜덤 효과를 가진 선형 혼합 모델에서 변분 추론을 위한 명시적이고 간결한 알고리즘을 제시하며, 이는 이전 연구를 두 수준 모델을 넘어서 확장한 것이다. 이는 희소 행렬 구조를 활용하여 효율적인 평균 장 변분 베이즈와 변분 메시지 전달 방법을 도입함으로써, 밀도 없는 설계 성분들만을 대상으로 작동하여 기존의 수조 수준의 연산을 수천 수준으로 줄여, 거대한 데이터셋에서도 빠르고 확장 가능한 추론을 가능하게 한다.

ABSTRACT

We derive and present explicit algorithms to facilitate streamlined computing for variational inference for models containing higher level random effects. Existing literature, such as Lee and Wand (2016), is such that streamlined variational inference is restricted to mean field variational Bayes algorithms for two-level random effects models. Here we provide the following extensions: (1) explicit Gaussian response mean field variational Bayes algorithms for three-level models, (2) explicit algorithms for the alternative variational message passing approach in the case of two-level and three-level models, and (3) an explanation of how arbitrarily high levels of nesting can be handled based on the recently published matrix algebraic results of the authors. A pay-off from (2) is simple extension to non-Gaussian response models. In summary, we remove barriers for streamlining variational inference algorithms based on either the mean field variational Bayes approach or the variational message passing approach when higher level random effects are present.

연구 동기 및 목표

• 두 수준 랜덤 효과 모델을 넘어서 세 수준 이상의 중첩된 랜덤 효과를 가진 다수준 모델로 간결한 변분 추론을 확장하기 위해.
• 다수준 모델에서 평균 장 변분 베이즈와 변분 메시지 전달에 대해 명시적이고 계산적으로 효율적인 알고리즘을 제공하기 위해.
• 희소 행렬 대수와 설계 행렬의 비제로 성분들에만 초점을 맞춤으로써 거대한 데이터셋에서도 확장 가능한 추론을 가능하게 하기 위해.
• 최근의 행렬 대수 결과를 활용하여 임의의 고수준 중첩을 체계적으로 다룰 수 있는 프레임워크를 구축하기 위해.
• 세로 및 다수준 데이터 분석에서 밀도 행렬 연산을 선형 시간 업데이트로 대체함으로써 계산 부담을 줄이기 위해.

제안 방법

• 두 수준 및 세 수준의 랜덤 효과 모델에서 희소 선형 시스템을 해결하고 행렬 역행렬의 부분 블록을 계산하기 위한 네 가지 기본 알고리즘(A.1–A.4)을 유도한다.
• 평균 장 변분 베이즈 업데이트의 수치적 안정성과 효율성을 향상시키기 위해 QR 분해를 개선한 방법을 적용한다.
• 변분 메시지 전달 기반의 팩터 그래프 조각 업데이트를 위한 여덟 가지 새로운 알고리즘(1–8)을 개발하여 모듈러하고 재사용 가능한 추론 코드를 가능하게 한다.
• Nolan & Wand(2020)의 행렬 대수 결과를 활용하여 고수준 중첩을 체계적으로 다룰 수 있도록 하며, 아직 완전히 일반화되지는 않았지만 가능하게 한다.
• 모델 크기에 관계없이 한 번만 유도하고 코딩할 수 있는 컴act하고 재사용 가능한 메시지 전달 조각을 구현한다.
• 전체 밀도 설계 행렬을 저장하고 운영하지 않기 위해 희소 행렬 표현을 활용하여 저장 및 계산을 원래 크기의 0.01%로 줄인다.

실험 결과

연구 질문

• RQ1 세 수준 랜덤 효과 모델로 일반적인 두 수준 모델을 넘어서 변분 추론을 효율적으로 확장할 수 있는 방법은 무엇인가?
• RQ2 고수준 중첩을 가진 다수준 모델에서 간결한 평균 장 변분 베이즈를 위해 필요한 명시적 알고리즘 구성 요소는 무엇인가?
• RQ3 변분 메시지 전달은 고수준 랜덤 효과를 가진 다수준 모델에 어떻게 적응시킬 수 있으며, 이로써 모듈러하고 확장 가능한 추론을 가능하게 할 수 있는가?
• RQ4 희소 행렬 대수는 대규모 다수준 모델에서 계산 복잡도를 어떻게 줄일 수 있는가?
• RQ5 고차원 다수준 모델에서 스트리밍 변분 추론이 마르코프 체인 몬테카를로 방법보다 얼마나 빠른가?

주요 결과

• 협동 산모 연구 프로젝트 데이터에 대해 간결한 평균 장 변분 베이즈는 스탠을 사용한 경우 36시간, R 기반 MCMC를 사용한 경우 3.5시간이 소요되는 데 비해 24초 만에 추론을 완료했다.
• 스트리밍 변분 추론은 MCMC보다 12.3배(고성능 C++ 기반 MCMC)에서 5,400배(스탠 기반 MCMC)까지의 속도 향상을 보였으며, 극적인 효율성 향상을 입증했다.
• 설계 행렬의 1.83조 개 성분 중 0.01%에 해당하는 비제로 요소들만을 대상으로 작동하여 저장 및 계산을 다룰 수 있는 수준으로 줄였다.
• 변분 메시지 전달은 다양한 크기의 모델 간에 재사용 가능한 추론 코드를 가능하게 하여 유지보수성과 확장성을 향상시켰다.
• 정규 분포 응답 모델의 경우 평균 장 변분 베이즈는 MCMC와 거의 동일한 신뢰구간과 사후 추정치를 제공하여 높은 정확도를 입증했다.
• 이 프레임워크는 일반화된 가산 혼합 모델, 비정규 분포 우도, 고수준 중첩의 확장에 대한 시스템적 블루프린트를 제공한다.