[論文レビュー] Dirichlet Process Mixtures of Generalized Linear Models

Lauren A. Hannah, David M. Blei+1 more|arXiv (Cornell University)|Sep 28, 2009

Bayesian Methods and Mixture Models被引用数 3

ひとこと要約

本稿では、一般化線形モデル（GLM）のディリクレ過程混合モデル（DP-GLM）を提案する。これは、ディリクレ過程混合モデルの柔軟性とGLMのモデリング能力を組み合わせたベイズ非パラメトリック回帰手法であり、多様な応答タイプ、共変量、および不均等分散（heteroscedasticity）を扱える。平均関数推定の漸近的不偏性を満たす条件を確立し、CART、ベイズ木、ガウス過程と比較して、連続的、カテゴリカル、カウント応答のあらゆる状況で優れた性能を示した。

ABSTRACT

We propose Dirichlet Process mixtures of Generalized Linear Models (DP-GLM), a new method of nonparametric regression that accommodates continuous and categorical inputs, and responses that can be modeled by a generalized linear model. We prove conditions for the asymptotic unbiasedness of the DP-GLM regression mean function estimate. We also give examples for when those conditions hold, including models for compactly supported continuous distributions and a model with continuous covariates and categorical response. We empirically analyze the properties of the DP-GLM and why it provides better results than existing Dirichlet process mixture regression models. We evaluate DP-GLM on several data sets, comparing it to modern methods of nonparametric regression like CART, Bayesian trees and Gaussian processes. Compared to existing techniques, the DP-GLM provides a single model (and corresponding inference algorithms) that performs well in many regression settings.

研究の動機と目的

• 連続的、カテゴリカル、カウント応答を扱い、混合共変量タイプに対応できる汎用的な非パラメトリック回帰手法の開発。
• 非線形応答関数を複雑にモデリングしつつ、局所的なGLM成分を通じて不均等分散を捉えること。
• データが自動的に混合成分の数を決定できるベイズ非パラメトリックアプローチの採用。
• DP-GLM平均関数推定の漸近的不偏性を満たす理論的条件の確立。
• CART、ベイズ木、ガウス過程といった現代の非パラメトリック手法と比較して、DP-GLMの実験的評価。

提案手法

• 有限個の一般化線形モデル（GLM）をディリクレ過程の事前分布で非パラメトリックに混合し、各GLMが固有の平均関数と応答分布を持つ。
• 混合モデルの各成分は、線形予測子を持つGLMであり、正規分布、ベルヌーイ分布、ポアソン分布など指数型分布族の応答をモデル化可能。
• 全体の平均関数は、混合成分の重みについて周辺化することで形成され、成分の不確実性を通じて非線形応答面を実現。
• ギブスサンプリングに、畳み込みおよび補助変数技術を用い、非共役パラメータにはハミルトニアン動力学を適用して事後分布の計算を実施。
• パラメータに共役および対数正規分布のベース測度を適用し、精度および成分の分散にハイパーパラメータを設定することで、適合性と柔軟性を向上。
• 中国飯店プロセスを用いてデータ駆動で成分数を決定し、過剰適合を回避するとともに、モデルの複雑さを適応可能に。

実験結果

リサーチクエスチョン

• RQ1 DP-GLM平均関数推定の漸近的不偏性が成立する条件は何か？
• RQ2 DP-GLMは、多様な応答タイプと不均等分散を扱いながら、非線形応答関数をモデル化できるか？
• RQ3 CART、ベイズ木、ガウス過程と比較して、DP-GLMの予測性能は、多様な回帰タスクにおいてどのように異なるか？
• RQ4 特に高次元または交換可能性のない設定下で、DP-GLMの事後分布の統計的性質は何か？
• RQ5 ハイパーパラメータの選定とベース測度の選択は、モデルの適合性と計算効率にどのように影響するか？

主な発見

• 真の平均関数が連続的であり、ベース測度が十分に弱いサポートを持つ限り、一般条件下でDP-GLMの平均関数推定は漸近的に不偏となる。
• 各GLM成分に異なる分散および平均構造を許容することで、不均等分散を効果的に捉えることができ、共役ベース測度モデルを上回る性能を示した。
• CMB、CCS、Solarデータセットにおいて、DP-GLMは優れた予測性能を示した。Matlab実装では実行時間が500秒未塔、最適化されたJava実装では10秒未塔。
• 混合共変量タイプや非線形応答パターンの処理において、CART、ベイズ木、ガウス過程を凌駆する性能を発揮した。
• 分散パラメータに対数正規ハイパーパラメータを適用することで、特に不均等分散の捉え方において、共役事前分布よりも応答の適合性が著しく向上した。
• 1,000イテレーション以内で事後分布の収束が安定し、対数事後確率も早期に安定したため、MCMCサンプリングの効率性が裏付けられた。