[論文レビュー] Risk Bounds for the Majority Vote: From a PAC-Bayesian Analysis to a Learning Algorithm

Pascal Germain, Alexandre Lacasse+3 more|arXiv (Cornell University)|Mar 28, 2015

Machine Learning and Algorithms参考文献 54被引用数 89

ひとこと要約

本稿では、多数決型分類器のための新しいPACベイジアンリスクバウンドであるCバウンドを導入し、投票者の平均的正解率と不一致度の両方を考慮する。このバウンドを最小化するための学習アルゴリズムMinCqを導出し、二次計画法により実装し、AdaBoost やSVMと同等の最先端の性能を達成する。

ABSTRACT

We propose an extensive analysis of the behavior of majority votes in binary classification. In particular, we introduce a risk bound for majority votes, called the C-bound, that takes into account the average quality of the voters and their average disagreement. We also propose an extensive PAC-Bayesian analysis that shows how the C-bound can be estimated from various observations contained in the training data. The analysis intends to be self-contained and can be used as introductory material to PAC-Bayesian statistical learning theory. It starts from a general PAC-Bayesian perspective and ends with uncommon PAC-Bayesian bounds. Some of these bounds contain no Kullback-Leibler divergence and others allow kernel functions to be used as voters (via the sample compression setting). Finally, out of the analysis, we propose the MinCq learning algorithm that basically minimizes the C-bound. MinCq reduces to a simple quadratic program. Aside from being theoretically grounded, MinCq achieves state-of-the-art performance, as shown in our extensive empirical comparison with both AdaBoost and the Support Vector Machine.

研究の動機と目的

• 多数決型分類器の理論的根拠に基づくリスクバウンドを構築し、投票者の平均的性能と不一致度の両方を捉えること。
• 特に標本圧縮とカーネルベースの投票者を含む文脈において、従来のPACベイジアン解析を統合・拡張すること。
• 理論的解析から直接導かれた実用的な学習アルゴリズムを導出し、Cバウンドの最小化によって一般化性能を保証的に向上させること。
• AdaBoost やSVMといった標準的なアルゴリズムと比較して、提案手法の実験的妥当性を検証し、最先端の性能を示すこと。

提案手法

• Cバウンドを提案し、多数決のリスクバウンドとして、投票者の平均的正解率と平均的不一致度を明示的に組み込む。
• PACベイジアン理論を用いて、学習データからの経験的観測をもとにCバウンドを推定し、分類器上の事前分布と事後分布を活用する。
• Kullback-Leibler発散に依存しない新しいPACベイジアンバウンドを導出し、標本圧縮フレームワーク内にカーネル関数を投票者として組み込む。
• Cバウンドを最小化するための二次計画問題として定式化されたMinCqアルゴリズムを設計し、投票者重みと不一致度を最適化する。
• 測度変換不等式とJensenの不等式を用いて、多数決分類器の一般化誤差に対する高確率バウンドを導出する。
• 決定的多数決分類器のリスクを間接的にバウンドするため、Gibbs分類器を確率的代理として用いる。

実験結果

リサーチクエスチョン

• RQ1 多数決型分類器の一般化リスクを、その構成する投票者の平均的正解率と平均的不一致度を用いてどのようにバウンドできるか？
• RQ2 PACベイジアン理論を拡張して、Kullback-Leibler発散に依存せず、カーネルベースの投票者を扱えるバウンドを導出できるか？
• RQ3 理論的リスクバウンドから直接導かれた学習アルゴリズムは、アンサンブル手法における一般化性能の向上にどの程度寄与できるか？
• RQ4 提案されたCバウンドを最小化することは、AdaBoost やSVMといった既存の最先端アルゴリズムと比較して、より優れた一般化性能をもたらすか？

主な発見

• Cバウンドは、投票者の正解率と不一致度を同時にモデル化することで、多数決型分類器のリスクバウンドをより厳密かつ情報豊かに提供する。
• 提案されたPACベイジアンバウンドにより、カーネル関数を標本圧縮フレームワーク内に組み込むことが可能となり、投票者としての利用が可能になる。
• Cバウンドの最小化から導かれたMinCqアルゴリズムは、凸二次計画問題に還元され、ベンチマークデータセットで最先端の性能を達成する。
• 実験結果から、MinCqは複数のデータセットにおいて、AdaBoost やサポートベクターマシンよりも一般化精度が優れていることが示された。
• 理論的解析により、決定的多数決分類器のリスクは、関連するGibbs分類器のリスクの2倍以下に上界づけられることを確認した。Cバウンドはこの関係性を精緻化する。
• Kullback-Leibler発散を回避する新しいバウンドが導出され、特定の状況ではよりロバストな推定戦略を提供する代替手法が得られた。