[論文レビュー] PAC-Bayesian AUC classification and scoring

James Ridgway, Pierre Alquier+2 more|arXiv (Cornell University)|Oct 7, 2014

Gaussian Processes and Bayesian Inference参考文献 27被引用数 13

ひとこと要約

本稿では、線形および非線形スコア関数を用いたAUC最適化分類とスコア付けのためのPAC-Bayesianフレームワークを提案する。ガウス分布およびスパイクアンドスラブ事前分布を用いて特徴量選択を実現し、非漸近的一般化境界を導出。計算効率の高い手法として順方向モンテカルロ法（Sequential Monte Carlo）および期待値適合法（Expectation-Propagation）を導入。ベンチマークデータセット上での実験により、既存手法と比較して顕著な高速化を達成し、優れた経験的性能を示した。

ABSTRACT

We develop a scoring and classification procedure based on the PAC-Bayesian approach and the AUC (Area Under Curve) criterion. We focus initially on the class of linear score functions. We derive PAC-Bayesian non-asymptotic bounds for two types of prior for the score parameters: a Gaussian prior, and a spike-and-slab prior; the latter makes it possible to perform feature selection. One important advantage of our approach is that it is amenable to powerful Bayesian computational tools. We derive in particular a Sequential Monte Carlo algorithm, as an efficient method which may be used as a gold standard, and an Expectation-Propagation algorithm, as a much faster but approximate method. We also extend our method to a class of non-linear score functions, essentially leading to a nonparametric procedure, by considering a Gaussian process prior.

研究の動機と目的

• 非漸近的一般化境界を保証するAUC最適化スコアリングおよび分類のためのPAC-Bayesianフレームワークの構築。
• 線形スコアパラメータにスパイクアンドスラブ事前分布を適用し、AUCに基づく学習における特徴量選択を可能にする。
• スコア関数のPAC-Bayesian事後分布に対する計算効率の高い推論手法（順方向モンテカルロ法および期待値適合法）の設計。
• ガウス過程事前分布を用いて非線形スコアリングを拡張し、非パラメトリックなAUC学習を可能にする。
• さまざまなクラス不均衡状況と次元数を有する多様なデータセットにおいて、手法の性能と計算効率を経験的に検証する。

提案手法

• 本手法は、$ \pi_{\xi,\gamma}(\theta|\mathcal{D}) \propto \pi_\xi(\theta) \exp\{-\gamma R_n(\theta)\} $ として定義されるギブス事後分布を用いる。ここで $ R_n(\theta) $ は経験的AUCリスクを表す。
• 弱い仮定の下で非漸近的PAC-Bayesian境界を導出。仮定として、特徴量差の分布に関するAssumption Dens(c) と、ノイズ構造に関するマージン仮定MA(κ,C) を想定。
• 計算推論のため、事後分布近似のゴールドスタンダードとして順方向モンテカルロ（SMC）アルゴリズムを提案。
• より高速な近似推論のため、並列更新を可能にする期待値適合（EP）アルゴリズムを提案。
• スパイクアンドスラブ事前分布は、ディルト・マスとガウス分布の混合としてモデル化され、事後包含確率を通じて自動的特徴量選択を実現。
• 非線形スコアリングのため、ガウス過程事前分布を用いて非パラメトリックなAUC最適化スコア関数を定義。

実験結果

リサーチクエスチョン

• RQ1 PAC-Bayesian理論は、非漸近的一般化境界を伴い、AUCベースの分類とスコアリングに効果的に拡張可能か？
• RQ2 ガウス分布およびスパイクアンドスラブ事前分布は、AUC最適化学習、特に特徴量選択においてどのように機能するか？
• RQ3 SMCやEPのような効率的なベイズ推論手法はAUCリスクに適応可能か？また、精度と速度の観点でどのように比較されるか？
• RQ4 提案手法は、さまざまなクラス不均衡状況および次元数を有する実世界データセットにおいて、どのように性能を発揮するか？
• RQ5 ガウス過程事前分布による非パラメトリック拡張は、線形モデルと比較してAUC最適化においてどのように差を示すか？

主な発見

• PAC-Bayesianフレームワークは、Assumption Dens(c) およびマージン仮定MA(κ,C) を含む弱い正則性条件のもとで、AUCリスクに対する非漸近的境界を提供する。
• SMCアルゴリズムは信頼できるゴールドスタンダードの事後分布近似を提供し、Pima Indiansデータセットにおける図4gの結果から、事後マージナル分布が真の事後分布に極めて近いことが示された。
• EPアルゴリズムは顕著な高速化を達成した：Pimaでは7.75秒（C言語でのRankboostの3.26秒対比）、DNAでは63.47秒（Rankboostの141.60秒対比）、Colonでは60.99秒（Rankboostの156.85秒対比）。
• スパイクアンドスラブ事前分布は、線形モデルにおける関連する共変量を事後包含確率によって効果的に同定可能である。
• ガウス過程事前分布を用いた非パラメトリック拡張により、固定されたパラメトリック形式を仮定せず、柔軟かつデータ駆動型のAUC最適化スコアリングが可能となった。
• すべてのデータセットにおいて、提案手法（EP-AUC）はRankboostと比較して著しく計算時間を短縮しながら、競争力あるAUC性能を達成した。