[論文レビュー] Bayesian Multicategory Support Vector Machines

Zhihua Zhang, Michael I. Jordan|arXiv (Cornell University)|Jun 27, 2012

Face and Expression Recognition参考文献 14被引用数 9

ひとこと要約

本論文は、多クラスサポートベクターマシン（MSVM）のベイジアン解釈を提案し、MSVMを階層的確率的モデルにおけるMAP推定として定式化する。この枠組みをデータ拡張を用いた完全ベイジアン推論へと拡張することで、分類精度を損なわずに不確実性の定量化とロバストネスが向上することを示した。これにより、多クラス学習におけるベイジアン形式主義の利点が明らかになった。

ABSTRACT

We show that the multi-class support vector machine (MSVM) proposed by Lee et. al. (2004), can be viewed as a MAP estimation procedure under an appropriate probabilistic interpretation of the classifier. We also show that this interpretation can be extended to a hierarchical Bayesian architecture and to a fully-Bayesian inference procedure for multi-class classification based on data augmentation. We present empirical results that show that the advantages of the Bayesian formalism are obtained without a loss in classification accuracy.

研究の動機と目的

• Leeら（2004）が提唱した多クラスSVM（MSVM）の確率的解釈を提供すること。
• MSVMを、推論と不確実性定量化の向上を目的とした階層的ベイジアン枠組みへと拡張すること。
• データ拡張を用いた完全ベイジアン推論手順を、多クラス分類に適用するための開発。
• ベイジアン拡張が分類精度を低下させることなく性能を向上させるかどうかの評価。

提案手法

• MSVMを、特定の尤度関数と事前分布構造の下での最大後確信度（MAP）推定として再解釈する。
• MSVMのパラメータにハイパーパラメータを割り当てることで、階層的ベイジアンモデルを構築し、完全ベイジアン推論を可能にする。
• 事後分布の計算を簡素化するためにデータ拡張を採用し、ギブスサンプリングや同様のMCMC手法の適用を可能にする。
• 分類器パラメータの事後分布を、マルコフ連鎖モンテカルロ（MCMC）法を用いて近似する。
• モデルの不確実性を統合し、点推定ではなく予測分布を提供する。
• パラメータの周辺化により、不確実性の定量化と過学習に対するロバストネスを実現する。

実験結果

リサーチクエスチョン

• RQ1 多クラスSVMは、特定の確率的モデル下で、正式にベイジアンMAP推定器として解釈可能か？
• RQ2 MSVMは、推論と不確実性推定の向上を目的として、どのように階層的ベイジアンモデルに拡張可能か？
• RQ3 完全ベイジアンMSVM枠組みにおいて、データ拡張を用いることの計算的・統計的利点は何か？
• RQ4 ベイジアンMSVMは、元のMSVMと比較して分類精度を維持または向上させるか？

主な発見

• MSVMは、特定の尤度関数と事前分布の下で、厳密にMAP推定器として解釈可能であり、整合的な確率的基盤を提供する。
• 階層的ベイジアン拡張により、完全な事後分布推定が可能となり、予測における不確実性の定量化が可能になる。
• データ拡張の活用により、効率的なMCMCサンプリングが可能となり、多クラス問題における事後分布計算が現実可能になる。
• 実験的結果から、ベイジアンMSVMは元のMSVMと同等またはそれ以上の分類精度を達成することが示された。
• ベイジアン定式化により、予測性能に悪影響を及げることなく、より優れたロバストネスと不確実性推定が得られた。
• 本手法は、モデル平均化や正則化といったベイジアンの利点を、MSVMフレームワークに効果的に統合した。