[論文レビュー] Bayesian Conditional Tensor Factorizations for High-Dimensional Classification

Yun Yang, David B. Dunson|arXiv (Cornell University)|Jan 21, 2013

Tensor decomposition and applications参考文献 20被引用数 13

ひとこと要約

この論文は、高次元のカテゴリカル分類のためのベイジアン条件付きテンソル因子分解モデルを提案しており、複雑な相互作用の柔軟で非パラメトリックなモデル化を可能にするとともに、自動変数選択を実現する。この手法は、スパarsity誘導型の事前分布を備えた構造的タッカー分解を活用することで、超高次元設定下でもほぼパラメトリックな事後収縮率を達成する。理論的保証とMCMC計算によって裏付けられている。

ABSTRACT

In many application areas, data are collected on a categorical response and high-dimensional categorical predictors, with the goals being to build a parsimonious model for classification while doing inferences on the important predictors. In settings such as genomics, there can be complex interactions among the predictors. By using a carefully-structured Tucker factorization, we define a model that can characterize any conditional probability, while facilitating variable selection and modeling of higher-order interactions. Following a Bayesian approach, we propose a Markov chain Monte Carlo algorithm for posterior computation accommodating uncertainty in the predictors to be included. Under near sparsity assumptions, the posterior distribution for the conditional probability is shown to achieve close to the parametric rate of contraction even in ultra high-dimensional settings. The methods are illustrated using simulation examples and biomedical applications.

研究の動機と目的

• 予測子間の複雑な相互作用を捉える非パラメトリックなベイジアンフレームワークを、高次元カテゴリカル分類のための開発。
• テンソル要因へのスパarsity誘導型事前分布を組み込むことで、自動変数選択を可能にする。
• 変数選択と予測の両方における不確実性の完全な確率的特徴付けを提供する。
• 近似的にスパースな仮定の下で、ほぼパラメトリックなレートに近い事後収縮率を理論的に確立する。
• 特に超高次元で信号対雑音比が低い状況において、正則化付きロジスティック回帰やランダムフォレストといった従来手法の限界を克服する。

提案手法

• 条件付き確率 P(Y=y | X₁=x₁,…,Xₚ=xₚ) を、非負の要因を持つタッカー分解を用いた多次元テンソルとしてモデル化する。
• コアテンソルおよび要因行列に階層的事前分布を設定し、要因負荷に Dirichlet(1/d, ..., 1/d) 事前分布を適用することで、非負性と一様性を確保する。
• 関連する予測子のサブセットを表す γ を用いて、関係する予測子のセットに対するスパarsity誘導型事前分布を導入することで、変数選択を実現する。
• テンソル分解のパラメータの共同事前分布を用いるベイジアンアプローチにより、不確実性の完全な定量化を可能にする。
• 予測子の含め方とその相互作用の不確実性を扱えるように、独自のMCMCアルゴリズムを開発する。
• 理論的分析は、εₙ-ネットの構築と、非パラメトリックベイズの枠組みに基づく事後収縮の条件の検証に依拠する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンテンソル因子分解モデルは、超高次元分類設定下でもほぼパラメトリックな事後収縮率を達成できるか？
• RQ2 カテゴリカル予測子間の高階相互作用を、解釈可能性とスパarsityを保ちつつ柔軟にモデル化できるか？
• RQ3 高次元カテゴリカルデータの非パラメトリックベイジアンテンソルモデル内で、効果的な変数選択が可能か？
• RQ4 真のモデルが近似的に低ランクかつスパースである場合に、事後濃縮の理論的保証は得られるか？
• RQ5 標準的な正則化付きロジスティック回帰やランダムフォレストと比較して、高次元で信号対雑音比が低い状況下での性能はいかがなものか？

主な発見

• 予測子の数が標本サイズとともに指数関数的に増加する場合でさえ、条件付き確率の事後分布がほぼパラメトリックなレートに収縮することが確認された。
• 近似的にスパースな仮定の下で、条件付き確率テンソルの事後収縮率が √(log pₙ / n) のオーダーで達成され、パラメトリックレートに近づくことが示された。
• 理論的分析により、真のモデルサイズより大きなモデルに割り当てる事前確率が指数的に小さくなることが確認され、モデル選択の整合性が保証された。
• MCMCアルゴリズムは高次元のモデル空間を効果的に探索し、変数選択および予測の両方における信頼性の高い不確実性定量化を実現した。
• シミュレーション結果から、RFが劣悪な性能を示す高次元で信号対雑音比が低い状況下でも、本手法がランダムフォレストを上回ることが示された。
• 後方包含確率を用いることで、主効果および相互作用の重要な予測子の同定が可能となり、解釈可能なインサイトが得られた。