[論文レビュー] The Relationship Between Agnostic Selective Classification Active Learning and the Disagreement Coefficient

Roei Gelbhart, Ran El‐Yaniv|arXiv (Cornell University)|Mar 19, 2017

Machine Learning and Algorithms被引用数 6

ひとこと要約

この論文は、ベルンシュタイン性質のような制限的な仮定に依存せずに、アグノスティック設定において高速な除外率を達成する、新しい点単位競合的選択的（PCS）学習アルゴリズムであるILESSを導入する。また、高速な除外率、多対数的である不一致係数、および新しい不一致ベースのアクティブラーニングアルゴリズムであるActive-ILESSにおける指数的高速化の間の同値性を確立し、不一致係数フレームワーク下で選択的分類とアクティブラーニングの理論的知見を統合する。

ABSTRACT

A selective classifier (f,g) comprises a classification function f and a binary selection function g, which determines if the classifier abstains from prediction, or uses f to predict. The classifier is called pointwise-competitive if it classifies each point identically to the best classifier in hindsight (from the same class), whenever it does not abstain. The quality of such a classifier is quantified by its rejection mass, defined to be the probability mass of the points it rejects. A "fast" rejection rate is achieved if the rejection mass is bounded from above by O(1/m) where m is the number of labeled examples used to train the classifier (and O hides logarithmic factors). Pointwise-competitive selective (PCS) classifiers are intimately related to disagreement-based active learning and it is known that in the realizable case, a fast rejection rate of a known PCS algorithm (called Consistent Selective Strategy) is equivalent to an exponential speedup of the well-known CAL active algorithm. We focus on the agnostic setting, for which there is a known algorithm called LESS that learns a PCS classifier and achieves a fast rejection rate (depending on Hanneke's disagreement coefficient) under strong assumptions. We present an improved PCS learning algorithm called ILESS for which we show a fast rate (depending on Hanneke's disagreement coefficient) without any assumptions. Our rejection bound smoothly interpolates the realizable and agnostic settings. The main result of this paper is an equivalence between the following three entities: (i) the existence of a fast rejection rate for any PCS learning algorithm (such as ILESS); (ii) a poly-logarithmic bound for Hanneke's disagreement coefficient; and (iii) an exponential speedup for a new disagreement-based active learner called ActiveiLESS.

研究の動機と目的

• アグノスティックな選択的分類において、ベルンシュタイン性質のような強い仮定を排除すること。
• 事前分布制約なしに、アグノスティック設定下での点単位競合的選択的学習における高速な除外率を確立すること。
• 不一致係数フレームワークを通じて、選択的分類とアクティブラーニングを統合すること。
• 高速な除外、有界な不一致係数、およびアクティブラーニングにおけるラベル複雑度の指数的削減の間の同値性を示すこと。

提案手法

• 不一致ベースのサンプリングを用いて情報量の多い例を適応的に選択する、点単位競合的選択的分類のための新しいアルゴリズムであるILESSを提案する。
• Active-ILESSをシミュレートするためのバッチベースのアクティブラーニング戦略（Batch-ILESS）を採用し、誤差と除外率を制御する。
• VC次元と対数要因に基づいて導出された信頼半径の境界を用いて、選択的分類器の一般化誤差を制御する。
• 変化する分布下での真のリスクから経験的リスクへの乖離を制御するために、濃度不等式（例：チェルノフの不等式）を適用する。
• 分布シフトのメカニズムを $\mathcal{P_{X,Y}}(G_{t-1})$ を用いて導入し、反復間で真のリスク最小化子 $f^*$ の一貫性を維持する。
• 3つの核心的要因の同値性を確立する：高速な除外率、多対数的不一致係数、およびアクティブラーニングにおける指数的高速化。

実験結果

リサーチクエスチョン

• RQ1 点単位競合的選択的分類器は、ベルンシュタイン性質を仮定せずに、アグノスティック設定で高速な除外率を達成できるか？
• RQ2 選択的分類における高速な除外とアクティブラーニングにおけるラベル複雑度の指数的削減の間に直接的な同値性があるか？
• RQ3 不一致係数は、アグノスティックな状況下での選択的学習とアクティブラーニングのサンプル複雑度にどのように影響するか？
• RQ4 追加の分布仮定なしに、PCSアルゴリズムの除外率を不一致係数のみで境界づけられるか？
• RQ5 不一致係数と不一致ベースのアクティブラーニングアルゴリズムの性能の間にはどのような関係があるか？

主な発見

• ILESSは、ベルンシュタイン性質を要件とせず、アグノスティック設定下で除外率が $ \tilde{O}(1/m) $ で抑えられる。
• ILESSの除外率は、不一致係数に応じて、実現可能状態とアグノスティック状態の間を滑らかに補間する。
• 任意のPCSアルゴリズムの高速な除外率は、ハネケの不一致係数に対する多対数的境界と同値である。
• 不一致係数が多対数的である場合に限り、Active-ILESSはラベル複雑度において指数的高速化を達成する。
• Batch-ILESSの除外率は $ \theta_{f^*}(R_0) \cdot R_0 $ で抑えられ、ここで $ R_0 = 2R(f^*) + 44 \cdot \frac{B}{m} + 12 \cdot \sqrt{\frac{B}{m} \cdot R(f^*)} $、$ B = 4d\ln(\frac{8m^2e}{d\delta}) $ である。
• 不一致係数は、アグノスティック設定下ですら、選択的分類とアクティブラーニングのサンプル複雑度のトレードオフを完全に特徴づける。