[論文レビュー] The Extended Littlestone's Dimension for Learning with Mistakes and Abstentions

Chicheng Zhang, Kamalika Chaudhuri|arXiv (Cornell University)|Apr 21, 2016

Machine Learning and Algorithms参考文献 30被引用数 6

ひとこと要約

本稿では、オンライン学習における放棄（ abstention ）と誤りのトレードオフを特徴付ける新しい指標である拡張リトルスターン次元（ELdim）を導入する。有限および無限の仮説クラスに対して最適なアルゴリズムを提示し、l-バイアス仮定の下で非実現可能ケースに対するタイトな上限および下限を確立し、k 個の誤りと l-バイアスの下で放棄の数が (k+1)·e^{(2k+2)/(k+1−l−d)} のオーダーで増加することを示し、従来の KWIK スタイルの枠組みを一般化する。

ABSTRACT

This paper studies classification with an abstention option in the online setting. In this setting, examples arrive sequentially, the learner is given a hypothesis class $\mathcal H$, and the goal of the learner is to either predict a label on each example or abstain, while ensuring that it does not make more than a pre-specified number of mistakes when it does predict a label. Previous work on this problem has left open two main challenges. First, not much is known about the optimality of algorithms, and in particular, about what an optimal algorithmic strategy is for any individual hypothesis class. Second, while the realizable case has been studied, the more realistic non-realizable scenario is not well-understood. In this paper, we address both challenges. First, we provide a novel measure, called the Extended Littlestone's Dimension, which captures the number of abstentions needed to ensure a certain number of mistakes. Second, we explore the non-realizable case, and provide upper and lower bounds on the number of abstentions required by an algorithm to guarantee a specified number of mistakes.

研究の動機と目的

• 個々の仮説クラスにおける放棄を伴うオンライン分類のアルゴリズム的最適性の特徴付けの欠如に対処すること。
• 実現可能性仮定が成り立たない非実現可能ケースにおける理解のギャップを埋めること。
• 誤りと放棄の制約が有界である条件下で、有限および無限の仮説クラスの両方に対して汎用的かつ最適なアルゴリズムを開発すること。
• 誤りと放棄の根本的トレードオフを捉える新しい指標「拡張リトルスターン次元」を形式化すること。

提案手法

• 放棄と有界な誤りを伴う設定に一般化されたリトルスターン次元を特徴付ける組合せ的測度として、拡張リトルスターン次元（ELdim）を提案する。
• 真のラベル関数がいくつかの h ∈ H と最大 l 個の例で一致しないことを仮定する l-バイアス仮定を導入し、非実現可能設定をモデル化する。
• ELdim を用いて放棄と予測の意思決定をガイドする新しいアルゴリズムを開発し、固定された放棄予算の下で総誤り数を最小化する。
• 下限を導出するために、(l−1, m)-困難な拡張誤り木の再帰的構成を用いる。
• 情報理論的および組合せ的議論を用いて、学習者が放棄または誤りをしなければならないまでのラウンド数の上限を導出する。
• 積仮説クラス（H₁·H₂）と指示関数を用いて、予測の不確実性と不一致をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 与えられた仮説クラスにおけるオンライン学習において、誤り数と放棄数の最適なトレードオフは何か？
• RQ2 非実現可能ケースにおいて、k 個の誤りまでに制限するための最小放棄数はどのように特徴付けられるか？
• RQ3 l-バイアス仮定は、放棄数と誤り数に対する非自明な境界を可能にする役割を果たすか？
• RQ4 拡張リトルスターン次元を用いて、有限および無限の仮説クラスの両方に対して汎用的かつ最適なアルゴリズムを設計できるか？
• RQ5 真のラベル関数が仮説クラスに含まれない場合、最小放棄数のタイトな特徴付けは存在するか？

主な発見

• 拡張リトルスターン次元（ELdim）は、放棄を伴うオンライン学習において、k 個までの誤りを保証するための最小放棄数をタイトに特徴付ける。
• 有限仮説クラス H に対して、任意の有限放棄を行うアルゴリズムは、l-バイアス仮定の下で少なくとも l 個の誤りを犯す必要があることが示され、この仮定の必要性が裏付けられる。
• リトルスターン次元 d を持つ無限仮説クラスに対して、任意の有限放棄アルゴリズムは、l-バイアス仮定の下で少なくとも l + d 個の誤りを犯す必要がある。
• k ≥ l + d のとき、放棄数の上限は (k+1)·e^{(2k+2)/(k+1−l−d)} であり、これは定数倍のオーダーでタイトであることが示された。
• 本稿では、提案されたアルゴリズムが、拡張誤り木を用いて導出された下限と一致する最適な誤りと放棄のトレードオフを達成することを証明した。
• l-バイアス仮定が必要であることが示された：この仮定がなければ、有限放棄のアルゴリズムは誤り数を有界に保証できない。