[论文解读] Dirichlet Process Mixtures of Generalized Linear Models

Lauren A. Hannah, David M. Blei+1 more|arXiv (Cornell University)|Sep 28, 2009

Bayesian Methods and Mixture Models被引用 3

一句话总结

本文提出狄利克雷过程混合广义线性模型（DP-GLM），一种贝叶斯非参数回归方法，结合狄利克雷过程混合的灵活性与广义线性模型（GLM）的建模能力，以处理多类响应类型、协变量及异方差性。该方法建立了均值函数估计量渐近无偏性的条件，并在连续、分类和计数响应类型上相较于CART、贝叶斯树和高斯过程表现出更优性能。

ABSTRACT

We propose Dirichlet Process mixtures of Generalized Linear Models (DP-GLM), a new method of nonparametric regression that accommodates continuous and categorical inputs, and responses that can be modeled by a generalized linear model. We prove conditions for the asymptotic unbiasedness of the DP-GLM regression mean function estimate. We also give examples for when those conditions hold, including models for compactly supported continuous distributions and a model with continuous covariates and categorical response. We empirically analyze the properties of the DP-GLM and why it provides better results than existing Dirichlet process mixture regression models. We evaluate DP-GLM on several data sets, comparing it to modern methods of nonparametric regression like CART, Bayesian trees and Gaussian processes. Compared to existing techniques, the DP-GLM provides a single model (and corresponding inference algorithms) that performs well in many regression settings.

研究动机与目标

• 开发一种通用的非参数回归方法，可处理连续、分类和计数响应类型，并支持混合协变量类型。
• 通过局部GLM分量建模复杂非线性响应函数，同时捕捉异方差性。
• 采用贝叶斯非参数方法，使数据自动决定混合分量的数量。
• 建立DP-GLM均值函数估计量渐近无偏性的理论条件。
• 通过实证评估DP-GLM与CART、贝叶斯树和高斯过程等现代非参数方法的性能差异。

提出的方法

• 使用狄利克雷过程先验对有限个广义线性模型（GLM）进行非参数混合，每个分量具有独立的均值函数和响应分布。
• 混合中的每个分量均为具有线性预测器的GLM，可建模指数族响应，包括高斯、伯努利和泊松分布。
• 整体均值函数通过混合分量权重的边际化构建，利用分量不确定性实现非线性响应曲面的表达。
• 采用吉布斯采样结合截断与辅助变量技术进行后验计算，对非共轭参数引入哈密顿蒙特卡洛方法。
• 对参数采用共轭与对数正态基测度，对精度和分量方差设置超先验，以提升拟合效果与灵活性。
• 通过中国餐馆过程实现数据驱动的分量数量选择，避免过拟合并支持模型复杂度的自适应调整。

实验结果

研究问题

• RQ1 在何种条件下，DP-GLM均值函数估计量是渐近无偏的？
• RQ2 DP-GLM能否在捕捉多样响应类型与异方差性的同时，有效建模非线性响应函数？
• RQ3 在多种回归任务中，DP-GLM与CART、贝叶斯树和高斯过程相比，其预测性能如何？
• RQ4 在高维或非交换设定下，DP-GLM后验分布的统计特性如何？
• RQ5 超参数选择与基测度设定对模型拟合效果与计算效率有何影响？

主要发现

• 在一般条件下，DP-GLM实现了均值函数估计量的渐近无偏性，包括真实均值函数连续且基测度具有足够弱支撑的情况。
• 该模型通过允许每个GLM分量具有独立的方差与均值结构，成功捕捉了异方差性，其表现优于共轭基测度模型。
• 在CMB、CCS和Solar数据集上，DP-GLM展现出优异的预测性能，Matlab实现运行时间低于500秒，优化后的Java版本低于10秒。
• 在多种回归场景中，DP-GLM优于CART、贝叶斯树和高斯过程，尤其在处理混合协变量类型与非线性响应模式方面表现突出。
• 对方差参数采用对数正态超先验显著提升了响应拟合效果，尤其在捕捉异方差性方面优于共轭先验。
• 后验收敛在1,000次迭代内稳定，对数后验概率早期即趋于稳定，支持高效的MCMC采样。