[論文レビュー] On Generalizing the C-Bound to the Multiclass and Multi-label Settings

François Laviolette, Emilie Morvant+2 more|arXiv (Cornell University)|Jan 13, 2015

Face and Expression Recognition参考文献 7被引用数 3

ひとこと要約

本稿では、二値多数決分類器のリスクに対するタイトなPACベイジアン境界であるC境界を、多値およびマルチラベル設定へ一般化する。新しいマージン定義を導入し、これらの一般化マージンの一次モーメントおよび二次モーメントに基づく理論的境界を導出することで、複雑な出力空間における一般化保証付きの学習アルゴリズムの設計が可能となる。

ABSTRACT

The C-bound, introduced in Lacasse et al., gives a tight upper bound on the risk of a binary majority vote classifier. In this work, we present a first step towards extending this work to more complex outputs, by providing generalizations of the C-bound to the multiclass and multi-label settings.

研究の動機と目的

• 二値分類に限定されていたC境界を、多値およびマルチラベル設定へ拡張すること。
• 複雑な出力空間（複数または非二値ラベルを予測する投票者を含む）において、多数決分類器のリスクを制限する課題に対処すること。
• 多値およびマルチラベル投票意思決定の幾何学的・統計的性質を捉える新しいマージン定義を開発すること。
• 一般化マージンの一次および二次モーメントを用いて、重み付き多数決分類器の一般化誤差に対する理論的境界を提供すること。
• 多値およびマルチラベル状況におけるPACベイジアン一般化保証付きの新規学習アルゴリズムの設計の基盤を築くこと。

提案手法

• 真のクラスに対する期待投票と、いかなる誤りクラスに対しても最大の投票との差に基づく多値マージンを定義する。
• 最大値演算を回避することでリスク境界の導出を簡素化する、多値設定における2-マージンの変種を導入する。
• ラベルおよび投票者の出力をベクトル表現で表現することで、マルチラベル分類へのマージン定義を一般化する。
• 真のラベルと同じ側に期待投票ベクトルが位置する場合に正しく分類されることを保証する、マルチラベル設定用の2-マージンを定義する。
• 一般化マージンの一次および二次モーメントにCantelli-Chebyshev不等式を適用することで、多値およびマルチラベル設定におけるC境界を導出する。
• 多数決のリスクが $ 1 - \frac{(\mu_1)^2}{\mu_2} $ で有界であることを確立する。ここで $ \mu_1 $ および $ \mu_2 $ は、2-マージンの一次および二次モーメントである。

実験結果

リサーチクエスチョン

• RQ1 C境界を、タイトさと解釈可能性を保ったまま多値分類に一般化する方法は何か？
• RQ2 理論的リスク境界を可能にするために、多値多数決分類器に適したマージン定義は何か？
• RQ3 出力がラベルの部分集合であるマルチラベル分類に対しても、同様の一般化が達成可能か？
• RQ4 マージンの一次および二次モーメントは、複雑な出力空間における多数決アンサンブルの一般化誤差とどのように関係するか？
• RQ5 学習アルゴリズム設計において、最大値ベースのマージンの代わりに2-マージン形式を用いることで生じる理論的インパクトは何か？

主な発見

• 2-マージンの一次および二次モーメントを用いた多値C境界が導出され、多数決分類器のリスクに対するタイトな上界が得られる。
• 平均マージン $ \mu_1 $ が正であるという条件下で、非自明な一般化性能が保証される。
• マルチラベル分類では、正の値をとれば正しく分類されることを保証する2-マージンが定義され、類似のリスク境界が可能となる。
• マルチラベルC境界は、形式的に $ \mathbf{R}_D(\overline{B}_\rho) \leq 1 - \frac{(\mu_1(\overline{M}_{\rho,2}^D))^2}{\mu_2(\overline{M}_{\rho,2}^D)} $ として確立され、二値の場合と類似している。
• 理論的枠組みは、経験的C境界を最小化する学習アルゴリズムの開発を支援し、多値およびマルチラベル設定における一般化性能の向上をもたらす。
• 結果として得られた理論は、MinCqアルゴリズムの原則を複雑な出力へ一般化し、マルチラベルおよび多値問題におけるPACベイジアン学習の道を開く。