[論文レビュー] Nonlinear Models Using Dirichlet Process Mixtures

Babak Shahbaba, Radford M. Neal|ArXiv.org|Mar 10, 2007

Bayesian Methods and Mixture Models参考文献 46被引用数 223

ひとこと要約

本稿では、応答変数と共変数の同時分布を非パラメトリックにモデル化する非線形分類モデルを提案する。このモデルは、各混合成分内で線形関係を仮定するが、全体として非線形な関係を捉えることができる。本手法は、非線形および階層的分類問題、特にタンパク質フォールド予測において、SVM やニューラルネットワーク、線形手法といった従来手法を上回る優れた性能を発揮する。

ABSTRACT

We introduce a new nonlinear model for classification, in which we model the joint distribution of response variable, y, and covariates, x, non-parametrically using Dirichlet process mixtures. We keep the relationship between y and x linear within each component of the mixture. The overall relationship becomes nonlinear if the mixture contains more than one component. We use simulated data to compare the performance of this new approach to a simple multinomial logit (MNL) model, an MNL model with quadratic terms, and a decision tree model. We also evaluate our approach on a protein fold classification problem, and find that our model provides substantial improvement over previous methods, which were based on Neural Networks (NN) and Support Vector Machines (SVM). Folding classes of protein have a hierarchical structure. We extend our method to classification problems where a class hierarchy is available. We find that using the prior information regarding the hierarchical structure of protein folds can result in higher predictive accuracy.

研究の動機と目的

• 共変数と応答変数の間の非線形関係を、線形性を仮定しない柔軟な非パラメトリック分類モデルとして捉えること。
• 固定された分布形や線形関係を仮定するパラメトリックモデルの限界を克服し、仮定が満たされない場合に性能が著しく低下するのを防ぐこと。
• タンパク質フォールド分類のような分類問題における階層的構造を組み込み、ドメイン知識を活用して予測精度を向上させること。
• ラベルなしデータを用いて共変数の分布をモデル化する一方で、ラベル付きデータを応答-共変数の依存関係のモデル化に使用することで、半教師あり学習を可能にすること。
• 各混合成分が線形関係を示すデータセグメントを特定することで、解釈可能な結果を提供すること。

提案手法

• 応答変数 $ y $ と共変数 $ x $ の同時分布を、多変量正規分布のディリクレ過程混合でモデル化し、潜在的な分布の非パラメトリック推定を可能にする。
• 各混合成分内で $ y $ と $ x $ の間に線形関係を仮定することで、複数の成分が同時に活性化される場合、全体として非線形なモデルが得られる。
• 混合分布 $ G $ にディリクレ過程の事前分布 $ \mathcal{D}(G_0, \gamma) $ を導入し、$ G_0 $ をベースライン分布、$ \gamma $ を成分数を制御するパrameterとする。
• 効率的なギブスサンプリングのため、中国レストラン過程（CRP）の表現を用い、各成分へのデータ点の割り当て確率をその成分に属する既存のデータ点数に比例させる。
• 複数のデータソース（例：アミノ酸組成、二次構造など）を自動的に重み付けできるように、各データソースごとに異なるスケールパラメータ $ \xi $ を許容する。
• 潜在的な連続変数や適切な離散事前分布（例：ベータ分布、多項ロジット）を用いることで、カテゴリカルおよび多項分布の共変数に対応するようにモデルを拡張する。

実験結果

リサーチクエスチョン

• RQ1 ディリクレ過程混合を用いた非パラメトリックベイジアンモデルは、非線形関係を有する分類タスクにおいて、標準的な線形および非線形モデルを上回る性能を発揮できるか？
• RQ2 タンパク質フォールド分類において階層的構造を組み込むことで、フラットな分類モデルと比較して予測精度がどの程度向上するか？
• RQ3 真の関係が線形である場合に、本モデルは線形関係に適応でき、非線形モデルにありがちな過学習を回避できるか？
• RQ4 ラベル付きデータが少ないがラベルなしデータが豊富な半教師あり学習の設定において、本モデルはどの程度有効に機能するか？
• RQ5 各成分内で線形パターンを示す明確なデータセグメントを特定でき、解釈可能な結果を提供できるか？

主な発見

• シミュレートされた非線形データにおいて、本モデルは多項ロジスティック回帰、2次ロジスティック回帰、決定木モデルを著しく上回り、柔軟性と精度の両面で優れた性能を示した。
• 実世界のタンパク質フォールド分類問題において、本モデルはニューラルネットワークやサポートベクターマシンに基づく先行手法を上回る高い予測精度を達成した。
• タンパク質フォールドの階層的構造を組み込むことで、分類精度に顕著な向上が見られ、ドメイン知識の統合の価値を示した。
• 1つの成分のみが使用される場合、本モデルは線形モデルに簡約されるため、線形な状況でも過学習を回避できることを確認した。
• 異なるスケールパラメータ $ \xi $ を用いて複数のデータソース（アミノ酸組成、二次構造、疎水性など）を統合することで、性能が向上した。特に、特徴量の組み合わせが有効に機能した。
• ラベルなしデータを用いて共変数の分布をモデル化する一方で、ラベル付きデータを応答変数のモデリングに使用することで、効果的な半教師あり学習が可能になった。