[論文レビュー] Multiclass learnability and the ERM principle

Amit Daniely, Sivan Sabato+2 more|arXiv (Cornell University)|Aug 13, 2013

Machine Learning and Algorithms参考文献 36被引用数 42

ひとこと要約

本稿は、多クラス学習において、すべての経験的リスク最小化（ERM）アルゴリズムが同じ標本複雑度を持たないことを示している。一部のERM学習者では特定の仮説クラスを学習可能である一方、他のアルゴリズムでは失敗するが、クラス自体は学習可能である場合がある。主な貢献は、ラベルの置換に関して不変な対称的多クラス仮説クラスの標本複雑度をナタラジャン次元を用いて特徴づけ、タイトな境界を示し、最適なERM学習者の設計の原則を提示することにある。

ABSTRACT

We study the sample complexity of multiclass prediction in several learning settings. For the PAC setting our analysis reveals a surprising phenomenon: In sharp contrast to binary classification, we show that there exist multiclass hypothesis classes for which some Empirical Risk Minimizers (ERM learners) have lower sample complexity than others. Furthermore, there are classes that are learnable by some ERM learners, while other ERM learners will fail to learn them. We propose a principle for designing good ERM learners, and use this principle to prove tight bounds on the sample complexity of learning {\em symmetric} multiclass hypothesis classes---classes that are invariant under permutations of label names. We further provide a characterization of mistake and regret bounds for multiclass learning in the online setting and the bandit setting, using new generalizations of Littlestone's dimension.

研究の動機と目的

• PAC設定における多クラス学習の標本複雑度を調査し、特に異なるERM学習者の役割に焦点を当てる。
• 長年にわたり広く受け入れられてきた仮定、すなわち一様収束が学習可能性を意味し、すべてのERM学習者が同じ標本複雑度を持つという仮定に疑問を呈する。
• ラベルの置換に関して不変な対称的多クラス仮説クラスの標本複雑度をタイトに特徴づけること。
• オンライン学習およびバンディット学習の設定に分析を拡張し、多クラス予測におけるリトルストーン次元の一般化を行うこと。
• Natarajan次元やグラフ次元といった組合せ的測度に基づいて、最適なERM学習者を体系的かつ原理的選択する手法を提案すること。

提案手法

• PAC、オンライン、バンディット設定における多クラス学習の形式的フレームワークを導入し、完全情報とバンディットフィードバックの違いを明確に定義する。
• 仮説クラスの組合せ的性質に基づいて、標本複雑度を最小化するERM学習者の設計のための新しい原則を提案する。
• 対称的仮説クラスの標本複雑度を特徴づけるために、ナタラジャン次元を主要な測度として用い、タイトな上界および下界を証明する。
• オンラインおよびバンディット学習における誤り数およびレグルレーションの境界を特徴づけるために、リトルストーン次元を多クラス設定に一般化する。
• グラフ次元（上界）とナタラジャン次元（下界）の差を分析し、k個のラベルに対して最大でΘ(ln k)の大きさに達することを示す。
• 多クラス学習を2値分類に還元する還元アプローチを用い、異なる学習モデル間での一般化誤差境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 同じ多クラス仮説クラスに対して、異なるERM学習者の標本複雑度が著しく異なることはあり得るか？
• RQ2 2値分類と同様に、一様収束が多クラス学習においても学習可能性と同値であるとみなせるか？
• RQ3 どの組合せ的測度が、対称的多クラス仮説クラスの標本複雑度をタイトに特徴づけるか？
• RQ4 リトルストーン次元は、多クラス設定におけるオンライン学習およびバンディット学習を特徴づけるためにどのように一般化できるか？
• RQ5 最適な標本複雑度を達成するERM学習者を体系的かつ原理的選択するための手法を開発できるか？

主な発見

• ある多クラス仮説クラスにおいて、一部のERM学習者は他の学習者よりも低い標本複雑度を持つ一方、他の学習者では、学習可能なクラスを学習できない場合がある。
• 対称的多クラス仮説クラスでは、標本複雑度がナタラジャン次元によってタイトに特徴づけられ、定数要因の違いを除いて境界が一致する。
• グラフ次元（上界）とナタラジャン次元（下界）の比は、kがクラス数であるとき、最大でΘ(ln k)に達する可能性がある。
• オンラインおよびバンディット設定において、本稿はリトルストーン次元を多クラス学習に一般化し、誤り数およびレグルレーションの境界に関する新たな特徴づけを提供する。
• 実現可能ケースにおける標本複雑度の新しい上界を提示し、従来の結果を改善するとともに、対数因子の違いを除いてタイトであることを示している。
• 著者らは、任意の非恣意的ERM学習者を用いる限り、すべての多クラス仮説クラスに対して、一般の標本複雑度の境界O((d_N ln(1/ε) + ln(1/δ))/ε)が成り立つと予想している。