[논문 리뷰] Dirichlet Process Mixtures of Generalized Linear Models

Lauren A. Hannah, David M. Blei외 1명|arXiv (Cornell University)|2009. 09. 28.

Bayesian Methods and Mixture Models인용 수 3

한 줄 요약

이 논문은 연속형, 범주형, 카운트 반응 변수를 다룰 수 있고, 혼합형 예측 변수와 이방성 분산을 처리할 수 있는 베이지안 비모수 회귀 방법인 Dirichlet 과정 혼합 일반화선형모형(DP-GLM)을 제안한다. DP-GLM은 Dirichlet 과정 혼합의 유연성과 GLM의 모델링 능력을 융합하여 다양한 반응 유형과 이방성 분산을 효과적으로 다룬다. 평균 함수 추정치의 점근적 편향 없음 조건을 설정하였으며, CART, 베이지안 트리, 가우시안 프로세스와 비교해 연속형, 범주형, 카운트 반응 변수에서 뛰어난 성능을 보였다.

ABSTRACT

We propose Dirichlet Process mixtures of Generalized Linear Models (DP-GLM), a new method of nonparametric regression that accommodates continuous and categorical inputs, and responses that can be modeled by a generalized linear model. We prove conditions for the asymptotic unbiasedness of the DP-GLM regression mean function estimate. We also give examples for when those conditions hold, including models for compactly supported continuous distributions and a model with continuous covariates and categorical response. We empirically analyze the properties of the DP-GLM and why it provides better results than existing Dirichlet process mixture regression models. We evaluate DP-GLM on several data sets, comparing it to modern methods of nonparametric regression like CART, Bayesian trees and Gaussian processes. Compared to existing techniques, the DP-GLM provides a single model (and corresponding inference algorithms) that performs well in many regression settings.

연구 동기 및 목표

• 연속형, 범주형, 카운트 반응 변수를 다룰 수 있고 혼합형 예측 변수를 처리할 수 있는 일반적인 목적의 비모수 회귀 방법을 개발하는 것.
• 복잡한 비선형 반응 함수를 모델링하면서 지역적 GLM 구성요소를 통해 이방성 분산을 포착하는 것.
• 데이터가 자동으로 혼합 구성요소의 수를 결정할 수 있도록 베이지안 비모수 접근법을 사용하는 것.
• DP-GLM 평균 함수 추정치의 점근적 편향 없음 조건을 수립하는 것.
• CART, 베이지안 트리, 가우시안 프로세스와 같은 현대 비모수 방법과의 실험적 평가를 통해 DP-GLM의 예측 성능을 검토하는 것.

제안 방법

• 유한 개의 일반화선형모형(GLM)을 Dirichlet 과정 사전을 사용해 비모수적으로 혼합하며, 각 GLM는 자체 평균 함수와 반응 분포를 가진다.
• 혼합의 각 구성요소는 선형 예측 변수를 갖는 GLM이며, 가우스, 베르누이, 포isson 등 지수족 반응을 모델링할 수 있다.
• 전체 평균 함수는 혼합 구성요소 가중치에 대해 주어진 확률적 평균을 취함으로써 형성되며, 구성요소의 불확실성에 의해 비선형 반응 표면을 구현할 수 있다.
• 포스팅 계산을 위해 콜랩스드 및 보조 변수 기법을 사용한 게lesi 샘플링을 적용하며, 비공액 파라미터에 대해서는 하이퍼볼릭 역학을 활용한다.
• 파라미터에 대해 공액 및 로그정규 기저 측도를 적용하며, 정밀도와 구성요소 분산에 하이퍼사전분포를 설정하여 적합도와 유연성을 향상시킨다.
• 중국식 식당 과정을 통해 데이터 기반의 구성요소 수를 결정함으로써 과적합을 방지하고 모델 복잡도를 자동 조정할 수 있다.

실험 결과

연구 질문

• RQ1 DP-GLM 평균 함수 추정치가 점근적으로 편향 없어지는 조건은 무엇인가?
• RQ2 DP-GLM는 다양한 반응 유형과 이방성 분산을 수용하면서도 비선형 반응 함수를 모델링할 수 있는가?
• RQ3 다양한 회귀 과제에서 DP-GLM의 예측 성능은 CART, 베이지안 트리, 가우시안 프로세스와 비교해 어떻게 되는가?
• RQ4 특히 고차원 또는 비교환 가능한 설정에서 DP-GLM의 사후분포의 통계적 성질은 무엇인가?
• RQ5 하이퍼파rameter 선택과 기저 측도 선택은 모델 적합도와 계산 효율성에 어떤 영향을 미치는가?

주요 결과

• 진짜 평균 함수가 연속적일 때 일반적인 조건 하에서 DP-GLM은 평균 함수 추정치의 점근적 편향 없음을 확보한다. 이는 기저 측도가 충분한 약한 지지를 가질 경우에 해당한다.
• 각 GLM 구성요소가 별개의 분산과 평균 구조를 가질 수 있도록 허용함으로써 DP-GLM은 이방성 분산을 효과적으로 포착한다. 이는 공액 기저 측도 모델보다 성능이 뛰어나다.
• CMB, CCS, Solar 데이터셋에서 DP-GLM는 뛰어난 예측 성능을 보였으며, Matlab 구현에서는 실행 시간이 500초 이내, 최적화된 자바 구현에서는 10초 이내였다.
• 혼합형 예측 변수 유형과 비선형 반응 패턴을 다룰 때, DP-GLM는 CART, 베이지안 트리, 가우시안 프로세스보다 다수의 회귀 설정에서 뛰어난 성능을 보였다.
• 분산 파라미터에 로그정규 하이퍼사전분포를 사용함으로써, 특히 이방성 분산을 포착하는 데 있어 공액 사전분포보다 반응 적합도가 크게 향상되었다.
• 1,000회 이터레이션 내에서 사후 수렴이 안정되었으며, 로그 사후 확률이 조기에 안정화되어 효율적인 MCMC 샘플링을 뒷받침했다.