[論文レビュー] Pac-Bayesian Supervised Classification: The Thermodynamics of Statistical Learning

Olivier Catoni|ArXiv.org|Dec 3, 2007

Machine Learning and Algorithms参考文献 21被引用数 204

ひとこと要約

本稿は、凸解析と相対エントロピーを用いて、局所的かつ相対的な境界を導出し、モデルの複雑さを適応的に制御する、教師あり分類のためのPACベイジアンフレームワークを開発する。一般化誤差を定量化するための有効温度の概念を導入し、マージンとパrametric仮定にデータ駆動で適合する最適収束率を達成する。

ABSTRACT

This monograph deals with adaptive supervised classification, using tools borrowed from statistical mechanics and information theory, stemming from the PACBayesian approach pioneered by David McAllester and applied to a conception of statistical learning theory forged by Vladimir Vapnik. Using convex analysis on the set of posterior probability measures, we show how to get local measures of the complexity of the classification model involving the relative entropy of posterior distributions with respect to Gibbs posterior measures. We then discuss relative bounds, comparing the generalization error of two classification rules, showing how the margin assumption of Mammen and Tsybakov can be replaced with some empirical measure of the covariance structure of the classification model.We show how to associate to any posterior distribution an effective temperature relating it to the Gibbs prior distribution with the same level of expected error rate, and how to estimate this effective temperature from data, resulting in an estimator whose expected error rate converges according to the best possible power of the sample size adaptively under any margin and parametric complexity assumptions. We describe and study an alternative selection scheme based on relative bounds between estimators, and present a two step localization technique which can handle the selection of a parametric model from a family of those. We show how to extend systematically all the results obtained in the inductive setting to transductive learning, and use this to improve Vapnik's generalization bounds, extending them to the case when the sample is made of independent non-identically distributed pairs of patterns and labels. Finally we review briefly the construction of Support Vector Machines and show how to derive generalization bounds for them, measuring the complexity either through the number of support vectors or through the value of the transductive or inductive margin.

研究の動機と目的

• PACベイジアンツールを用いて、教師あり分類のための統計的学習理論フレームワークを構築すること。
• 相対エントロピーと経験的測度を介してモデルの複雑さに適応する局所的・相対的境界を導入すること。
• 事後分布とギブズ事前分布の関係をリンクする有効温度を定義・推定し、一般化誤差の制御を改善すること。
• マージンとパrametric仮定の変動に適応する学習を可能にし、最適収束率を達成すること。
• シャドウサンプルを用いて帰納的学習から転移的学習へと結果を拡張し、体系的な境界を導出すること。

提案手法

• ギブズ事前分布に対する相対エントロピーに基づく境界を導出するため、事後確率測度に凸解析を適用する。
• 有効温度を、事後の分布の一般化性能をギブズ事前分布に対して相対的に測る指標として導入する。
• 2段階の局所化を用いて、中間の事後分布を通じて境界を精緻化することで、パラメトリックモデルの族からモデルを選択する。
• 指数的パrameter最適化と集中不等式を用いて、不偏な経験的境界と分散境界を導出する。
• 相対的境界を用いて2つの事後分布を比較し、マージン仮定の代わりに分類モデルの経験的共分散構造を用いる。
• ガウス近似を用いたシャドウサンプルと組み合わせて、分散項の推定を改善することで、転移的学習への応用を拡張する。

実験結果

リサーチクエスチョン

• RQ1 PACベイジアン境界をどのように局所化することで、分類における一般化誤差の制御を改善できるか？
• RQ2 有効温度は事後分布とギブズ事前分布の関係をどのように規定するのか。また、データからどのように推定できるか？
• RQ3 2つの事後分布間の相対的境界は、一般化誤差解析におけるマージン仮定を置き換えることができるか？
• RQ4 2段階の局所化は、パラメトリック族におけるモデル選択をどのように向上させるか？
• RQ5 マージンとパrametric仮定の適応的変動のもとで、一般化誤差の最適収束率は何か？

主な発見

• 事後分布の有効温度は、データから推定可能であり、これにより任意のマージンとパrametric複雑さの仮定のもとで、一般化誤差の適応的制御が可能になる。
• 本稿は、一般マージンとパrametric仮定のもとで、期待誤差率の最良の収束率を、適応的に達成する。
• 事後分布間の相対的境界により、マミン＝ツバックォフのマージン仮定を、分類モデルの共分散構造の経験的測定に置き換えることが可能になる。
• 2段階の局所化により、中間の事後分布を通じた境界の精緻化が可能となり、パラメトリック族からのモデル選択が向上し、適応性が向上する。
• シャドウサンプルを用いた手法により、転移的境界が体系的に拡張され、ガウス近似によって分散項の推定が改善される。
• 本フレームワークは、帰納的および転移的設定の両方で最適収束率を達成しており、境界の体系的導出と主要パラメータの経験的推定によって裏付けられている。