[논문 리뷰] Variational Mixture Models with Gamma or inverse-Gamma components

Alberto Llera, Diego Vidaurre외 2명|arXiv (Cornell University)|2016. 07. 26.

Bayesian Methods and Mixture Models참고 문헌 17인용 수 10

한 줄 요약

이 논문은 감마 또는 역감마 성분을 가진 가우시안 혼합 모델에 대해 완전히 분석적(분석적)인 변분 베이즈(VB) 알고리즘을 도입하며, 뇌 영상에서 효율적이고 강건한 추론을 가능하게 한다. 제안된 bGIM(Bayesian Gaussian/inverse-Gamma mixture) 모델은 고해상도 fMRI 데이터에서 최대우도(ML) 대비 정확도와 계산 효율성에서 뛰어나며, 희소(GIM) 또는 조밀(bGGM) 대안보다 더 균형 잡힌 솔루션을 제공한다.

ABSTRACT

Mixture models with Gamma and or inverse-Gamma distributed mixture components are useful for medical image tissue segmentation or as post-hoc models for regression coefficients obtained from linear regression within a Generalised Linear Modeling framework (GLM), used in this case to separate stochastic (Gaussian) noise from some kind of positive or negative "activation" (modeled as Gamma or inverse-Gamma distributed). To date, the most common choice in this context it is Gaussian/Gamma mixture models learned through a maximum likelihood (ML) approach; we recently extended such algorithm for mixture models with inverse-Gamma components. Here, we introduce a fully analytical Variational Bayes (VB) learning framework for both Gamma and/or inverse-Gamma components. We use synthetic and resting state fMRI data to compare the performance of the ML and VB algorithms in terms of area under the curve and computational cost. We observed that the ML Gaussian/Gamma model is very expensive specially when considering high resolution images; furthermore, these solutions are highly variable and they occasionally can overestimate the activations severely. The Bayesian Gauss-Gamma is in general the fastest algorithm but provides too dense solutions. The maximum likelihood Gaussian/inverse-Gamma is also very fast but provides in general very sparse solutions. The variational Gaussian/inverse-Gamma mixture model is the most robust and its cost is acceptable even for high resolution images. Further, the presented methodology represents an essential building block that can be directly used in more complex inference tasks, specially designed to analyse MRI-fMRI data; such models include for example analytical variational mixture models with adaptive spatial regularization or better source models for new spatial blind source separation approaches.

연구 동기 및 목표

• 감마 및/또는 역감마 성분을 가진 혼합 모델을 위한 완전히 분석적 변분 베이즈 프레임워크를 개발하여 기존 최대우도(ML) 접근법의 한계를 해결하는 것.
• 특히 고해상도 fMRI 데이터에서 ML 방법이 비용이 너무 많이 들기 때문에 신경영상 응용 분야에서 계산 효율성과 강건성을 향상시키는 것.
• 불확실성 정량화와 공간 정규화 모델 또는 빔원소분離와 같은 더 큰 추론 파ip라인에 통합 가능한 원칙적인 베이지안 대안을 제공하는 것.
• 검출 정확도(AUC), 솔루션의 희소성/밀도, 계산 비용을 기준으로 새로운 VB 알고리즘의 성능을 최신 ML 방법과 비교하는 것.

제안 방법

• 감마 및 역감마 성분의 분석적 파rameter 추정을 위한 두 가지 새로운 변분 베이즈 알고리즘인 bGGM(Bayesian Gaussian/Gamma mixture)과 bGIM(Bayesian Gaussian/inverse-Gamma mixture)을 제안한다.
• 대부분의 파라미터에 공액 사전확률을 사용하고, 감마 및 역감마 성분의 비공액 형태의 형태 파rameter에 대한 사후 기대값을 계산하기 위해 라플라스 근사와 테일러 전개를 적용한다.
• 기타 모든 파라미터에 대해 표준 변분 베이즈 업데이트를 사용하여 분석적 타당성과 계산 효율성을 보장한다.
• 형태 파라미터에 대한 비정규화된 공액 사전확률을 도입하여 변분 추론 프레임워크 내에서 폐쇄형 근사가 가능하도록 한다.
• 합성 데이터와 실제 휴식 상태 fMRI 데이터를 사용하여 방법을 검증하며, 100명의 피험자로부터 4400개의 공간 지도를 추출하여 평가한다.
• 다양한 해상도(1–4 mm)에서 AUC, 활성 지도의 희소성/밀도, 계산 런타임을 기준으로 ML 기반 GGM 및 GIM 모델과 성능을 비교한다.

실험 결과

연구 질문

• RQ1 합성 및 실제 fMRI 데이터에서 제안된 분석적 변분 베이즈 알고리즘(bGGM 및 bGIM)이 최대우도 방법(GGM 및 GIM)에 비해 검출 정확도(AUC) 측면에서 어떻게 성능을 내는가?
• RQ2 특히 양성 및 음성 활성화의 탐지 측면에서, 다양한 모델 간의 솔루션의 희소성과 민감도 사이의 상충 관계는 어떠한가?
• RQ3 계산 비용은 영상 해상도에 따라 어떻게 변화하는가? 그리고 기존 ML 기반 접근법에 비해 새로운 VB 방법이 런타임을 크게 줄일 수 있는가?
• RQ4 bGIM 모델은 뇌영상 파이프라인에서 널리 사용되는 GGM 모델에 대한 강건하고 효율적인 대안이 될 수 있는가?
• RQ5 제안된 VB 프레임워크는 공간 정규화 세그멘테이션 또는 비정규 분포 원천을 가진 변분 ICA와 같은 더 복잡한 추론 작업으로 어떻게 확장될 수 있는가?

주요 결과

• bGIM 모델은 모든 평가 지표에서 가장 강건한 성능을 보이며, GIM(너무 희소)과 bGGM(너무 조밀)에 비해 민감도와 희소성 사이의 균형이 뛰어나다.
• GGM 모델은 가장 계산 비용이 많이 들며, 특히 고해상도(예: 1 mm)에서 런타임의 분산이 크기 때문에 대규모 fMRI 분석에 현실적으로 적용하기 어려운 편이다.
• bGGM 모델은 가장 빠르지만 너무 조밀한 활성 지도를 생성하여 특이도가 낮고 가짜 양성률이 높아진다.
• bGIM 모델은 정확도와 속도 사이에 유리한 트레이드오프를 달성하며, 계산 비용 분포도 작고, 1 mm 해상도에서도 수용 가능한 런타임을 보인다.
• 대응 t-검정 결과, bGIM은 대부분의 평가 시나리오에서 다른 모델보다 유의미하게 뛰어나며, 생물학적으로 타당한 활성 패턴을 탐지하는 데 특히 뛰어나다.
• 제안된 VB 프레임워크는 공간 정규화 혼합 모델이나 변분 ICA와 같이 더 큰 베이지안 모델에 감마/역감마 성분을 효율적으로 통합할 수 있게 하며, 비용이 많이 드는 수치 최적화 단계를 대체한다.