[論文レビュー] Fully Bayesian Classification with Heavy-tailed Priors for Selection in High-dimensional Features with Grouping Structure

Lai Jiang, Longhai Li+1 more|arXiv (Cornell University)|Jul 1, 2016

Statistical Methods and Inference参考文献 44被引用数 3

ひとこと要約

本稿では、グループ化や相関関係のある特徴量を考慮しつつ、事前に指定されたグループ構造が不要な高次元特徴選択を実現する完全ベイジアンRobit回帰手法FBRHTを提案する。重たい尾を持つ事前分布を用いることで、スパースで予測可能な特徴量サブセットを自動的に同定し、LASSO やグループLASSO、その他の手法と比較して顕著にスパースな特徴量集合を達成しながら同等または優れた予測性能を示す。特に実世界の遺伝子発現データにおいて顕著な性能を発揮する。

ABSTRACT

Feature selection is demanded in many modern scientific research problems that use high-dimensional data. A typical example is to find the most useful genes that are related to a certain disease (eg, cancer) from high-dimensional gene expressions. The expressions of genes have grouping structures, for example, a group of co-regulated genes that have similar biological functions tend to have similar expressions. Many statistical methods have been proposed to take the grouping structure into consideration in feature selection, including group LASSO, supervised group LASSO, and regression on group representatives. In this paper, we propose a fully Bayesian Robit regression method with heavy-tailed (sparsity) priors (shortened by FBRHT) for selecting features with grouping structure. The main features of FBRHT include that it discards more aggressively unrelated features than LASSO, and it can make feature selection within groups automatically without a pre-specified grouping structure. In this paper, we use simulated and real datasets to demonstrate that the predictive power of the sparse feature subsets selected by FBRHT are comparable with other much larger feature subsets selected by LASSO, group LASSO, supervised group LASSO, penalized logistic regression and random forest, and that the succinct feature subsets selected by FBRHT have significantly better predictive power than the feature subsets of the same size taken from the top features selected by the aforementioned methods.

研究の動機と目的

• 高次元データに内在するグループ構造や相関関係を持つ特徴量のなかから、スパースで予測可能な特徴量サブセットを選択する課題に対処すること。
• 非凸なペナルティ付き手法の限界（不安定な最適化、スケーラビリティの低さ）を、MCMCサンプリングを用いた完全ベイジアンフレームワークによって克服すること。
• 事前に定義されたグループ構造がなくても、相関構造を自然に活用してグループ内での特徴選択を自動的に行えるようにすること。
• LASSO やグループLASSO、ランダムフォレストなどの既存手法よりも優れた予測性能を発揮するとともに、顕著にスパースな特徴量サブセットを達成すること。
• 重たい尾を持つ事前分布のスパース性誘導特性とベイジアン推論の解釈可能性を組み合わせた、頑健で安定した手法の開発

提案手法

• FBRHTは、係数推定値にスパース性を誘導するため、重たい尾を持つ（例：ラプラス分布、ホースシューモデルに類似）事前分布を用いた完全ベイジアンRobit回帰モデルを採用する。
• MCMCサンプリングを用いて係数の事後分布を探索することで、不確実性の定量化と頑健な特徴選択を可能にする。
• 事前に定義されたグループ構造がなくても、特徴量間の相関を活用して自然にグループ内選択を実行する。
• 特徴選択はMCMC出力のモードを特定することで実施され、ノイズを除外するためのしきい値ルール（例：相対的係数絶対値 > 0.1）が適用される。
• 二段階アプローチを採用：まず全特徴量セットに対してMCMCを実行し、有望なグループを同定；次に候補特徴量の縮小セットに対してMCMCを再実行し、精緻化を行う。
• 本手法はさまざまな重たい尾を持つ事前分布に対応可能であり、線形モデルやグラフィカルモデルなど他のモデルへも拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 重たい尾を持つ事前分布を用いた完全ベイジアンアプローチは、グループ構造を有する高次元データにおいて、頻度主義的ペナルティ付き手法を上回るスパースで予測可能な特徴量サブセットの選択を達成できるか？
• RQ2 FBRHTは、事前に定義されたグループ構造がなくても、自動的にグループ内特徴選択を実行できるか？
• RQ3 FBRHTは、LASSO やグループLASSO、ランダムフォレストと同等または優れた予測性能を発揮しながら、顕著に少ない特徴量数を用いることができるか？
• RQ4 特徴量サブセットのサイズが同一である場合、FBRHTの予測性能は他の手法と比較してどうなるか？
• RQ5 重たい尾を持つ事前分布を用いたMCMCベースのベイジアン推論は、非凸最適化で一般的に見られる不安定性を緩和し、選択プロセスを安定化できるか？

主な発見

• FBRHTは、LASSO やグループLASSO、スパースなグループLASSO、ランダムフォレスト、ペナルティ付きロジスティック回帰によって選択された非常に大きな特徴量サブセットと同等の予測性能を、はるかに少ない特徴量数で達成する。
• 白血病データセットでは、FBRHTが平均1.00の遺伝子をトップサブセット（FBRHTtop）に選択した一方、LASSOは平均26.43の特徴量を選択したが、FBRHTはAUCが1.00を維持した。
• 乳がんデータセットでは、FBRHTtopは1.00の遺伝子、FBRHToptは1.95の遺伝子を使用し、両者ともAUCが1.00であった。一方、LASSOは26.43の遺伝子を使用し、AUCは1.00、ER × 121は1であった。
• FBRHTが選択したスパースな特徴量サブセットは、LASSO やグループLASSO などの手法が選択した上位特徴量から同一サイズのサブセットを抽出した場合と比較して、顕著に優れた予測力を持っていた。
• FBRHTは、予測精度を損なわず、極めてスパースなサブセット（1〜2遺伝子）を達成し、両実データセットでほぼ完璧なAUC値（1.00）を達成した。
• 本手法はグループ内選択とノイズ低減を効果的に処理し、LASSOよりも関係のない特徴量をより積極的に除外しながら、信号を保持していた。