[논문 리뷰] Variational Bayesian modelling of mixed-effects

Jean Daunizeau|arXiv (Cornell University)|2019. 03. 21.

Statistical Methods and Bayesian Inference참고 문헌 13인용 수 4

한 줄 요약

이 논문은 군집 연구에서 혼합효과 모델링을 위한 변분 베이지안 프레임워크를 제시하며, 내부 및 외부 피험자 효과를 효율적으로 추정할 수 있도록 한다. 반복적이고 적응형 정규화 절차를 활용함으로써, 경험 베이지와 유사한 방식으로 통계적 검정력을 향상시키고 개인 간 변동성을 포착하면서도, 변분 추론를 통해 계산 효율성을 유지한다.

ABSTRACT

This note is concerned with an accurate and computationally efficient variational bayesian treatment of mixed-effects modelling. We focus on group studies, i.e. empirical studies that report multiple measurements acquired in multiple subjects. When approached from a bayesian perspective, such mixed-effects models typically rely upon a hierarchical generative model of the data, whereby both within- and between-subject effects contribute to the overall observed variance. The ensuing VB scheme can be used to assess statistical significance at the group level and/or to capture inter-individual differences. Alternatively, it can be seen as an adaptive regularization procedure, which iteratively learns the corresponding within-subject priors from estimates of the group distribution of effects of interest (cf. so-called "empirical bayes" approaches). We outline the mathematical derivation of the ensuing VB scheme, whose open-source implementation is available as part the VBA toolbox.

연구 동기 및 목표

• 뇌영상 및 심리학적 군집 연구에서 베이지안 혼합효과 모델링의 계산 및 통계적 과제를 해결한다.
• 내부 및 외부 피험자 분산 성분을 모두 포함하는 계층적 자료 구조를 다룰 수 있는 확장 가능한 변분 추론 방법을 개발한다.
• 개별 차이를 효과적으로 측정하면서도 군집 수준의 추론을 안정적으로 수행한다.
• 경험 베이지 원리를 변분 베이지안 프레임워크에 통합하여 군집 수준 데이터로부터 내부 피험자 사전분포를 적응적으로 학습한다.
• 대규모 연구에서 혼합효과 모델에 대해 메르코브 체인 몬테카를로 방법의 계산 효율적인 대안을 제공한다.

제안 방법

• 군집 수준 및 피험자 수준 효과를 난수 효과로 모델링하는 계층적 생성 모델을 수립한다.
• 평균장 분해를 사용하여 모델 파라미터의 사후분포를 근사하기 위해 변분 베이지안 추론를 적용한다.
• 좌표상승 변분 추론(CAVI)을 사용하여 초모수 및 난수 효과에 대한 업데이트 방정식을 유도한다.
• 경험 베이지 원리를 활용하여 추정된 군집 수준 분포에 기반해 반복적으로 내부 피험자 사전분포를 업데이트한다.
• 오픈 액세스와 재현 가능성을 확보하기 위해 VBA(Variational Bayes for fMRI Analysis) 툴박스 내에서 알고리즘을 구현한다.
• 완전한 MCMC 샘플링을 피하면서도 정확한 파라미터 추정을 유지하기 위해 계산 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 복잡한 계층적 구조를 가진 군집 연구에서 변분 베이지안 추론가 혼합효과 모델에 효과적으로 적용될 수 있는가?
• RQ2 제안된 방법은 전통적 접근 대비 군집 수준 효과 탐지에서 통계적 검정력과 정확도를 어느 정도 향상시키는가?
• RQ3 계산 가능성을 유지하면서도 개별 간 차이를 신뢰성 있게 포착할 수 있는가?
• RQ4 경험 베이지 원리를 통한 적응형 정규화가 소규모에서 중간 규모의 표본 설정에서 모델 성능을 어떻게 향상시키는가?
• RQ5 이 변분 프레임워크에서 계산 효율성과 추정 정확도 사이의 상충 관계는 어떠한가?

주요 결과

• 제안된 변분 베이지안 방법은 MCMC에 비해 계산 비용을 감소시키면서도 고정효과 및 난수효과를 정확하게 추정한다.
• 이 방법은 관심 있는 효과의 개인 간 변동성을 효과적으로 포착하여 군집 수준 데이터의 더 세밀한 해석을 가능하게 한다.
• 경험 베이지 원리를 통합함으로써 군집 분포에 기반해 내부 피험자 사전분포를 적응적으로 조정하여 추정의 안정성을 향상시킨다.
• VBA 툴박스에 구현된 오픈소스 구현은 재현 가능성을 보장하고 뇌영상 및 심리학 연구 공동체에서의 도입을 촉진한다.
• 개선된 정규화와 수축 덕분에 제한된 표본 크기에서도 군집 수준 효과 탐지에서 뛰어난 성능을 보인다.
• 시뮬레이션 연구와 실제 데이터 응용을 통해 검증된 결과, 사후분포 근사에서 높은 정확도를 유지한다.