[論文レビュー] PAC-Bayesian Generalization Bound on Confusion Matrix for Multi-Class Classification

Emilie Morvant, Sokol Koço+1 more|arXiv (Cornell University)|Feb 28, 2012

Machine Learning and Algorithms参考文献 25被引用数 19

ひとこと要約

本稿は、多クラス分類における誤り行列の最初のPACベイジアン一般化境界を提示する。行列濃縮不等式を用いて、真の誤り行列リスクを、その経験的リスクに加え、クラスごとの訓練サンプル数に依存する項を加えた形で上界で抑えている。主な貢献は、スカラーミスクラスフィケーション率を越えて、クラス固有の誤分類誤差を捉える理論的裏付けのある、性能測定に配慮した境界である。

ABSTRACT

In this work, we propose a PAC-Bayes bound for the generalization risk of the Gibbs classifier in the multi-class classification framework. The novelty of our work is the critical use of the confusion matrix of a classifier as an error measure; this puts our contribution in the line of work aiming at dealing with performance measure that are richer than mere scalar criterion such as the misclassification rate. Thanks to very recent and beautiful results on matrix concentration inequalities, we derive two bounds showing that the true confusion risk of the Gibbs classifier is upper-bounded by its empirical risk plus a term depending on the number of training examples in each class. To the best of our knowledge, this is the first PAC-Bayes bounds based on confusion matrices.

研究の動機と目的

• スカラーミスクラスフィケーション率を越えて、性能測定として誤り行列を用いる多クラス分類の一般化境界を開発すること。
• 既存のPACベイジアン境界が全体の誤り率しか考慮しないという限界に対処すること。これは、重要なクラス固有の誤分類パターンを隠してしまう可能性がある。
• 偽陽性や偽陰性といったより豊かな誤差情報を取り入れることで、解釈性を高め、感受性の高い分野での応用を可能にする理論的リスク境界を構築すること。
• 精度の最適化だけでなく、構造的誤差パターンを最適化することを目的とした学習アルゴリズムの理論的基盤を確立すること。

提案手法

• 本稿は、誤り行列を行列値の誤差測定として、ギブズ分類器のリスクを定式化する。ここで各成分は、真のクラスがpのときクラスqを予測する確率を表す。
• Tropp（2011）が最近開発した行列濃縮不等式を適用し、真の誤り行列リスクの高確率上界を経験的誤り行列リスクの形で導出する。
• 経験的誤り行列とその期待値との乖離を、行列マルティンゲール技術および固有値濃縮を用いて分析することで、境界を導出する。
• 導出された境界には、各クラスの訓練例数に依存する項が含まれており、クラス不均衡が一般化に与える影響を反映している。
• ベイズリスク（多数決分類器）とギブズリスクとの間に、行列優位性を用いた関係を確立し、前者が後者のQ倍で上界されることを示している。
• スペクトルノルムと行列順序を用いて、ギブズ分類器と多数決分類器の誤り行列を比較し、最終的な境界の導出を可能にしている。

実験結果

リサーチクエスチョン

• RQ1 PACベイジアン一般化境界を、多クラス分類における行列値性能測定（誤り行列）に拡張することは可能か？
• RQ2 誤り行列を誤差測定として用いる場合、各クラスの訓練例数の変化が一般化リスクに与える影響は何か？
• RQ3 ギブズ分類器と多数決分類器の関係を、行列ノルムおよび誤り行列のスペクトル的性質を用いて形式化できるか？
• RQ4 全体の正解率ではなく、クラス固有の誤分類誤差を捉える一般化境界を導出することは可能か？
• RQ5 行列濃縮不等式は、スカラーリスク境界と比較して、多クラス学習においてよりタイトで情報豊かな境界を可能にするか？

主な発見

• 本稿は、ギブズ分類器の真の誤り行列リスクが、その経験的誤り行列リスクに加え、各クラスの訓練例数に依存する項を加えた形で上界されることを示したPACベイジアン境界を導出している。
• この境界は、PACベイジアン枠組みにおいて誤り行列を主な誤差測定として用いる最初のものであり、クラス固有の誤差分析を可能にしている。
• Qがクラス数であるとき、ベイズ誤り行列のスペクトルノルムがギブズ誤り行列のスペクトルノルムのQ倍で上界されることを確立している。
• 境界は、特にTropp（2011）のものに代表される行列濃縮不等式を用いて導出されており、確率的行列和の乖離を制御できる。
• 特に偽陽性率や偽陰性率が重要な不均衡な設定では、スカラーミスクラスフィケーション境界よりもタイトで情報量が多い。
• 理論的枠組みは、全体の誤りを最小化するのではなく、構造的誤差パターンを最適化することを目的とした学習アルゴリズムの設計を支援する。