[論文レビュー] Structure-aware error bounds for linear classification with the zero-one loss

Ata Kabán, Robert J. Durrant|arXiv (Cornell University)|Sep 28, 2017

Machine Learning and Algorithms参考文献 32被引用数 3

ひとこと要約

本稿は、標本サイズが次元数より小さい高次元設定下でも、ゼロ-one損失を用いた線形二値分類の構造に配慮したリスクバウンドを導入する。『反転確率』を用いて良性な幾何的構造を捉えることで、圧縮（ランダム射影された）およびフル次元の学習の両方における一般化バウンドをより厳密に導出し、理論的考察の向上と、バウンド最小化による実用的分類器学習の実現を可能にする。

ABSTRACT

We prove risk bounds for binary classification in high-dimensional settings when the sample size is allowed to be smaller than the dimensionality of the training set observations. In particular, we prove upper bounds for both 'compressive learning' by empirical risk minimization (ERM) (that is when the ERM classifier is learned from data that have been projected from high-dimensions onto a randomly selected low-dimensional subspace) as well as uniform upper bounds in the full high-dimensional space. A novel tool we employ in both settings is the 'flipping probability' of Durrant and Kaban (ICML 2013) which we use to capture benign geometric structures that make a classification problem 'easy' in the sense of demanding a relatively low sample size for guarantees of good generalization. Furthermore our bounds also enable us to explain or draw connections between several existing successful classification algorithms. Finally we show empirically that our bounds are informative enough in practice to serve as the objective function for learning a classifier (by using them to do so).

研究の動機と目的

• 標本サイズが入力次元より小さい状況下でのゼロ-one損失を用いた線形分類の一般化リスクバウンドを構築すること。
• ランダムに射影されたデータにおける経験的リスク最小化（ERM）の性能を分析し、データの幾何構造を反映するバウンドを導出すること。
• 『反転確率』を新たな幾何的測度として導入し、データ構造を捉えることでリスクバウンドを改善すること。
• 理論的知見を、ブースティングなどの既存の成功した分類アルゴリズムと結びつけること。
• 導出されたバウンドが、実用的分類器の学習の目的関数として十分に情報を持つことを示すこと。

提案手法

• DurrantとKabán（ICML 2013）が提唱した『反転確率』を、入力の微小な摂動に対して分類器の予測がどの程度簡単に変化するかを定量化する主要なツールとして導入し、データの幾何構造を反映する。
• ラデマッハ複雑度と集中不等式を用いて、フル高次元空間およびランダム射影された低次元部分空間におけるERMの一般化誤差の上界を導出する。
• 仮説クラスのシフト不変形式を用いて、データ分布の微小な摂動に対する分類器の安定性を分析する。
• ランダム射影（RP）を次元削減手法として適用し、幾何的構造が保たれる条件下で一般化保証を維持することを理論的に分析し、その結果得られるリスクバウンドを検証する。
• 反転確率に依存する一様リスクバウンドを用い、不連続なゼロ-one損失のなめらかな代理変数として機能させる。
• 導出されたバウンドを最小化する学習目的関数を提案し、実験的にその実用的妥当性を示している。

実験結果

リサーチクエスチョン

• RQ1 高次元で標本数が少ない状況下でのゼロ-one損失を用いた線形分類の一般化リスクバウンドを、どのようにしてより厳密にできるか？
• RQ2 ランダム射影は一般化性能をどの程度保つのか？また、データのどの幾何的性質がその性能に影響を与えるか？
• RQ3 反転確率は、一般化バウンドを導出する際にゼロ-one損失の意味のある代理変数として機能できるか？
• RQ4 提案されたバウンドは、ブースティングなどの既存アルゴリズムの成功をどのように説明できるか？
• RQ5 導出されたリスクバウンドは、実用的分類器の学習の目的関数として使用可能か？

主な発見

• 本稿では、データの反転確率が低い場合、古典的なVCスタイルのバウンドよりも一般化誤差バウンドを著しく厳密にできることが示された。これは、良性な幾何的構造が存在することを示唆する。
• ランダム射影による圧縮学習では、射影空間における反転確率に依存するリスクバウンドが得られ、N ≪ d であっても情報を持つことが示された。
• 反転確率は、不連続なゼロ-one損失のなめらかで連続な代理変数として機能することが実証され、勾配ベース最適化手法の適用が可能になった。
• 実験結果から、導出されたリスクバウンドを目的関数として最小化することで、良好な性能を示す分類器が得られ、理論的バウンドの実用的妥当性が裏付けられた。
• ブースティングアルゴリズムの成功は、データ分布における低反転確率と関連づけられ、理論的に説明可能となった。
• 入力特徴を特徴空間表現に置き換えることで、理論フレームワークはカーネル化された設定へ一般化可能であり、バウンド構造が保たれた。