[논문 리뷰] Variational inference for count response semiparametric regression

Jan Luts, M. P. Wand|arXiv (Cornell University)|2013. 09. 17.

Bayesian Methods and Mixture Models참고 문헌 12인용 수 4

한 줄 요약

이 논문은 포isson 및 음이이항 분포 모델을 사용한 카운트 반응 변수를 갖는 베이지안 비모수적 회귀 모델에 대해 빠르고 확장 가능한 변분 추론 알고리즘을 개발한다. 비공액 변분 메시지 전달 기법을 활용하여, 정규화된 스플라인을 포함한 일반화된 가산 혼합 모델의 실시간 피팅을 가능하게 하며, 전통적인 MCMC에 비해 추론 속도를 크게 향상시키면서도 정확도를 유지한다.

ABSTRACT

Fast variational approximate algorithms are developed for Bayesian semiparametric regression when the response variable is a count, i.e. a non-negative integer. We treat both the Poisson and Negative Binomial families as models for the response variable. Our approach utilizes recently developed methodology known as non-conjugate variational message passing. For concreteness, we focus on generalized additive mixed models, although our variational approximation approach extends to a wide class of semiparametric regression models such as those containing interactions and elaborate random effect structure.

연구 동기 및 목표

• 카운트 반응 비모수적 회귀 모델에 대한 효율적인 근사 베이지안 추론 방법의 부족을 해결하기 위해.
• 포isson 및 음이이항 분포와 같은 비공액 우도에 대해 평균 필드 변분 베이즈를 확장하기 위해.
• 계산 비용이 높은 MCMC를 빠른 변분 근사로 대체하여 비모수적 회귀에서 실시간 및 고속 데이터 분석을 가능하게 하기 위해.
• 확장 가능한 베이지안 프레임워크 내에서 정규화된 스플라인과 복잡한 무작위 효과 구조를 포함한 모델을 지원하기 위해.

제안 방법

• 베이지안 비모수적 모델에서 비공액 우도를 처리하기 위해 비공액 변분 메시지 전달(NC-VMP)을 활용한다.
• 잠재 변수와 초모수의 후행 분포를 근사하기 위해 평균 필드 변분 베이즈(MFVB)를 적용한다.
• 정밀도 매개수에 대해 조건부 공액 사전분포와 스무딩 매개수에 대해 하프-카우치 사전분포를 사용하는 계층적 사전분포 구조를 설정한다.
• 충분통계와 로그-분할 함수의 기대값을 사용하여 변분 매개수의 닫힌 형태 업데이트를 유도한다.
• 카운트 반응은 포isson 및 음이이항 우도로 모델링하며, 후자는 포isson-가우시안 혼합 형태로 표현된다.
• 재귀적 좌표 상승 업데이트를 통해 변분 매개수를 갱신하며, 이는 회귀 계수와 무작위 효과의 평균 및 공분산을 포함한다.

실험 결과

연구 질문

• RQ1 비공액 변분 메시지 전달 기법이 비모수적 회귀에서 포isson 및 음이이항 반응 모델에 효과적으로 적용될 수 있는가?
• RQ2 일반화된 가산 혼합 모델에 대한 평균 필드 변분 베이즈는 카운트 데이터에서 비공액 우도를 어떻게 다룰 수 있는가?
• RQ3 고용량 또는 스트리밍 데이터 환경에서 제안된 방법의 계산 및 통계적 성능은 MCMC에 비해 어떠한가?
• RQ4 정규화된 스플라인과 복잡한 무작위 효과 구조를 포함한 모델에 대해 이 방법은 효율적으로 확장될 수 있는가?

주요 결과

• 제안된 변분 추론 프레임워크는 실시간 및 스트리밍 데이터에 적합한 빠르고 확장 가능한 후행 근사 추정을 가능하게 한다.
• 포isson 및 음이이항 모델 모두에서 MCMC에 비해 빠른 처리 속도를 확보하면서도 경쟁 가능한 정확도를 유지한다.
• 충분통계와 로그-분할 함수의 기대값을 사용하여 변분 매개수의 닫힌 형태 업데이트를 도출함으로써 효율적인 계산이 가능해진다.
• 통합된 변분 메시지 전달 프레임워크를 통해 정규화된 스플라인과 구조화된 무작위 효과를 포함한 복잡한 모델을 성공적으로 처리한다.