[論文レビュー] Bayesian Classification and Regression with High Dimensional Features

Longhai Li|ArXiv.org|Sep 18, 2007

Bayesian Methods and Mixture Models参考文献 43被引用数 3

ひとこと要約

本稿では、高次元回帰および分類における2つの主要な課題、特徴量サブセット選択に起因する選択バイアスと、高次相互作用に伴うパラメータ数の指数的増加に起因する計算非可能性に対処するためのベイズ的手法を提案する。特徴選択バイアスに対するベイズ補正と、同一の相互作用パターンをグループ化するパラメータ圧縮技術を導入することで、効率的なMCMC推論が可能となり、トレーニング時間は著しく短縮される一方で、シミュレートされた遺伝子発現データおよびテキストデータ、実際のデータにおいても予測性能を維持する。

ABSTRACT

This thesis responds to the challenges of using a large number, such as thousands, of features in regression and classification problems. There are two situations where such high dimensional features arise. One is when high dimensional measurements are available, for example, gene expression data produced by microarray techniques. For computational or other reasons, people may select only a small subset of features when modelling such data, by looking at how relevant the features are to predicting the response, based on some measure such as correlation with the response in the training data. Although it is used very commonly, this procedure will make the response appear more predictable than it actually is. In Chapter 2, we propose a Bayesian method to avoid this selection bias, with application to naive Bayes models and mixture models. High dimensional features also arise when we consider high-order interactions. The number of parameters will increase exponentially with the order considered. In Chapter 3, we propose a method for compressing a group of parameters into a single one, by exploiting the fact that many predictor variables derived from high-order interactions have the same values for all the training cases. The number of compressed parameters may have converged before considering the highest possible order. We apply this compression method to logistic sequence prediction models and logistic classification models. We use both simulated data and real data to test our methods in both chapters.

研究の動機と目的

• 高次元特徴選択における有名な選択バイアスの問題に対処すること。これは、特徴量が応答変数との相関に基づいて選択されることにより、性能推定値が楽観的になりがちなことである。
• 選択関連パラメータを統合し、補正要因を計算することで、ナイーブベイズおよび混合モデルにおけるこのバイアスを補正するベイズフレームワークの構築。
• 高次相互作用をモデル化する際の計算非可能性に取り組むこと。これは、特にロジスティックモデルにおいて、パラメータ数が指数関数的に増加するためである。
• すべてのトレーニングケースにおいて同一の予測子値を持つ相互作用項を1つの圧縮パラメータにグループ化することで、モデルの複雑さを低減するパラメータ圧縮手法の導入。
• 圧縮されたパラメータ数が、最高の相互作用順序に達する前にも収束することを示し、高次相互作用のモデル化を計算的に可能にする。

提案手法

• 特徴選択の指標と応答変数との相関パラメータを統合することで、ナイーブベイズおよび混合モデルにおける選択バイアスを補正するベイズ補正要因を提案する。
• 数値台形則とMCMCを用いて、特徴選択の不確実性を考慮した予測分布を計算し、選択された特徴量に過剰適合するのを回避する。
• すべてのトレーニングケースにおいて同一の相互作用パターンを持つ回帰係数を1つのパラメータに集約するパラメータ圧縮技術を導入する。
• 予測時に圧縮されたパラメータから元のパラメータを回復するための分割手順を採用し、モデルの解釈可能性と正確性を保証する。
• ベイズ論理シーケンス予測および分類モデルにこの圧縮手法を適用し、スパースで重たい尾を持つ係数の信念をよりよく反映するため、重尾型のコーシー事前分布を用いる。
• 圧縮されたパラメータを用いたMCMCサンプリングにより、トレーニングを効率的に行い、トレーニング時間を著しく短縮するが、予測性能は維持する。

実験結果

リサーチクエスチョン

• RQ1 高次元データにおいて、応答変数との相関に基づいて特徴量を選択することで生じる楽観的バイアスを、ベイズモデルがどのように是正できるか。
• RQ2 高次相互作用を含むモデルにおけるパラメータ数を、予測精度を損なわずに圧縮する手法は、効果的か。
• RQ3 最高の相互作用順序に達する前にも、圧縮されたパラメータ数が収束するか。これにより、高次相互作用のモデル化が計算的に可能になるか。
• RQ4 高次元相互作用モデルにおけるスパースで重たい尾を持つ係数分布を捉える際、コーシー事前分布はガウス事前分布よりも優れているか。
• RQ5 実世界のデータ、例えば遺伝子発現データやテキストシーケンスにおいて、提案された圧縮手法は、トレーニング効率と予測性能の両面でどの程度向上をもたらすか。

主な発見

• 提案されたベイズ補正要因は、選択バイアスを効果的に是正し、特に少数の特徴量が選択された場合に、期待誤差率を実際の誤差率に一致させる。これは、シミュレートデータおよび実データで確認された。
• コロラス癌の遺伝子発現データにおいて、選択された特徴量の数に関わらず、安定した性能を維持し、標準的な選択手法で見られる楽観的過剰評価を回避した。
• 相互作用順序の途中で圧縮パラメータ数が収束することが示された。これは、モデルの複雑さとトレーニング時間を著しく低減することを意味する。
• 圧縮パラメータを用いることで、トレーニング時間が大幅に短縮された。図3.18の左下のプロットは、圧縮モデルが非圧縮モデルよりもはるかに速くトレーニングされることを明確に示している。
• 予測時間の短縮も確認された。図3.18の右下のプロットでは、圧縮モデルが非圧縮モデルよりも迅速な推論を達成している。
• コーシー事前分布は、スパースな係数構造を捉える点でガウス事前分布を上回り、特にコーシー分布に従うデータを用いた実験で、より優れた予測性能とより正確な事後分布が得られた。