[論文レビュー] Beyond Disagreement-based Agnostic Active Learning

Chicheng Zhang, Kamalika Chaudhuri|arXiv (Cornell University)|Jul 10, 2014

Machine Learning and Algorithms参考文献 21被引用数 38

ひとこと要約

本稿では、保証された誤差を有する信頼度予測子を活用することで、不適合な二値分類における不一致ベースの手法よりも優れたラベル複雑性を達成する、新しいアクティブラーニングアルゴリズムを提案する。この手法は、一貫性のあるアクティブラーニングから信頼度予測への一般化された還元を用いており、理論的保証が得られ、特に線形分類器における対数凹型またはTsybakovノイズ条件下で、先行研究を上回る性能を示す。

ABSTRACT

We study agnostic active learning, where the goal is to learn a classifier in a pre-specified hypothesis class interactively with as few label queries as possible, while making no assumptions on the true function generating the labels. The main algorithms for this problem are {\em{disagreement-based active learning}}, which has a high label requirement, and {\em{margin-based active learning}}, which only applies to fairly restricted settings. A major challenge is to find an algorithm which achieves better label complexity, is consistent in an agnostic setting, and applies to general classification problems. In this paper, we provide such an algorithm. Our solution is based on two novel contributions -- a reduction from consistent active learning to confidence-rated prediction with guaranteed error, and a novel confidence-rated predictor.

研究の動機と目的

• データや仮説クラスに対する制限的な仮定を設けずに、不適合なアクティブラーニングにおける低ラベル複雑性を達成するという未解決問題に取り組む。
• 任意の仮説クラスやデータ分布に適用可能な、一般用途のアクティブラーニングアルゴリズムを設計し、不適合設定において一貫性を保証する。
• 不一致ベースのアクティブラーニングが要求する高コストなラベル数を克服しつつ、理論的整合性と誤差保証を維持する。
• 所定の誤差率を保証する信頼度予測子を新たに設計し、実現可能ケースにおける放棄率を最小化するとともに、不適合設定へ拡張する。
• 既存手法を上回る理論的ラベル複雑性バウンドを確立し、特に対数凹型およびTsybakovノイズ条件下での線形分類に対して優れた性能を示す。

提案手法

• 一貫性のあるアクティブラーニングから、誤差を保証する信頼度予測への一般化された還元を導入し、このような予測子をアクティブラーニングフレームワークに統合可能にする。
• 所定の誤差率を保証するとともに、実現可能ケースにおける放棄率を最小化する、新たな信頼度予測子を設計。この予測子の理論的基盤はVC次元と誤差バウンドに基づく。
• 信頼度予測子を用いてアクティブラーニングを制御：予測子が不確実な例に対してのみラベルを照会し、誤差制御とラベル効率性を確保する。
• 誤差レベル $\epsilon_k$ における再帰的精錬プロセスを用いてラベル複雑性バウンドを形式化し、信頼度しきい値に基づく適応的クエリスケジューリングを導入する。
• 線形分類器における対数凹型およびTsybakovノイズ分布の設定に適用する際には、複雑性項 $\phi(\cdot)$ を既知の構造的性質を用いてバウンドする。
• 精錬レベル間の誤差項の和を解析することで、タイトなラベル複雑性バウンドを導出。不一致ベースの手法に比べて性能向上を示す。

実験結果

リサーチクエスチョン

• RQ1 一般のアクティブラーニングアルゴリズムを設計可能か。そのアルゴリズムは不適合設定において一貫性を保ち、不一致ベースの手法よりも優れたラベル複雑性を達成できるか。
• RQ2 誤差を保証する信頼度予測を用いて、一貫性があり効率的なアクティブラーニングアルゴリズムを構築する方法は何か。
• RQ3 提案手法のラベル複雑性は、一般の仮説クラスに対して、実現可能および不適合設定の両方でどの程度か。
• RQ4 対数凹型およびTsybakovノイズ条件下で、先行研究と比較してラベル複雑性はどのように変化するか。
• RQ5 提案手法は実現可能ケースにおいて最適な放棄率を達成しつつ、不適合ケースにおいても誤差保証を維持できるか。

主な発見

• Tsybakovノイズ条件（パラメータ $\kappa > 1$）下では、提案アルゴリズムのラベル複雑性バウンドが $\tilde{O}\left(\sup_{k} \frac{\phi(C_0 \epsilon_k^{1/\kappa}, \epsilon_k/256)}{\epsilon_k^{1/\kappa}} \epsilon^{2/\kappa - 2} d \ln \frac{1}{\epsilon} \right)$ に抑えられ、不一致ベースの手法を上回る。
• 等方的対数凹型分布下の線形分類では、ラベル複雑性が $O\left(\ln\frac{\epsilon + \nu^*(D)}{\epsilon} \left(\ln\frac{1}{\epsilon} + \frac{+\nu^*(D)^2}{\epsilon^2}\right) \left(d\ln\frac{\epsilon + \nu^*(D)}{\epsilon} + \ln\frac{1}{\delta}\right)\right)$ に抑えられ、既存研究の知られたバウンドと一致するが、一般枠組み内で導出された。
• 信頼度予測子は実現可能ケースにおいて最適であり、所定の誤差率を保証するすべての予測子の中で放棄率を最小化する。
• アルゴリズムは不適合設定においても一貫性を保ち、最終的な分類器の誤差が仮説クラス内での最良のものから $\epsilon$ 以内に収束する。
• 一般設定において、不一致ベースのアクティブラーニングよりもラベル複雑性が厳密に優れていることが示され、$\epsilon$ の指数における漸近的改善が確認された。
• このフレームワークは任意の仮説クラスおよびデータ分布に一般化可能であり、理論的保証を伴う一様な不適合アクティブラーニングのアプローチを提供する。