[論文レビュー] Activized Learning: Transforming Passive to Active with Improved Label Complexity

Steve Hanneke|arXiv (Cornell University)|Aug 8, 2011

Machine Learning and Algorithms参考文献 87被引用数 38

ひとこと要約

本稿は、任意の受動学習アルゴリズムを、すべての非自明なVCクラスおよび分布において、厳密に改善されたラベル複雑性を達成する能動的学習アルゴリズムに変換するフレームワーク「Activized Learning」を導入する。ラベル効率性における漸近的改善を、新たな不一致係数の一般化を活用して証明し、ノイズあり設定へも拡張し、広範なノイズモデル下でも受動学習を上回る一貫した利点を示している。

ABSTRACT

We study the theoretical advantages of active learning over passive learning. Specifically, we prove that, in noise-free classifier learning for VC classes, any passive learning algorithm can be transformed into an active learning algorithm with asymptotically strictly superior label complexity for all nontrivial target functions and distributions. We further provide a general characterization of the magnitudes of these improvements in terms of a novel generalization of the disagreement coefficient. We also extend these results to active learning in the presence of label noise, and find that even under broad classes of noise distributions, we can typically guarantee strict improvements over the known results for passive learning.

研究の動機と目的

• 受動学習アルゴリズムを能動的学習アルゴリズムに変換する一般理論的枠組みを確立し、保証されたより良いラベル複雑性を実現すること。
• 既存の境界を超えて、一般化された不一致係数を用いてラベル複雑性の向上の程度を特徴づけること。
• ラベルノイズの状況への分析を拡張し、広範なノイズ分布下でも能動的学習が受動学習を厳密に上回ることを証明すること。
• 元の受動学習アルゴリズムの理論的保証を保持しつつ、能動的例選択によって性能を向上させる還元ベースの手法を提供すること。
• 誤ったモデル設定下でも、受動学習よりも少ないラベルでより良い一般化を達成できることを示すこと。

提案手法

• 受動学習アルゴリズムをサブルーチンとして用いる還元スタイルのフレームワークを提案する。
• 二段階の能動的学習戦略を導入する：第一に、選択されていない例の固定割合を受動的にラベリングする。第二に、残りのデータに対して受動学習アルゴリズムを実行し、性能を比較する。
• 保持された検証セット上の経験的誤差に基づく比較ステップを用いて、能動的および受動的分類器の間で選択を行う。
• Hoeffdingの不等式を用いて、経験的誤差と真の誤差の乖離をバインドし、高確率での性能保証を確保する。
• しきい値に基づく選択ルールを適用する：保持されたセット上で能動的分類器の誤差が受動的分類器よりも顕著に優れている場合、それを選択する。そうでない場合は、受動的分類器を返す。
• 集中不等式と一般化された不一致係数を用いてラベル複雑性の上限を導出し、誤差許容度εに対して多対数的依存関係があることを示す。

実験結果

リサーチクエスチョン

• RQ1 任意の受動学習アルゴリズムを、ノイズのない設定下で、厳密に改善されたラベル複雑性を持つ能動的学習アルゴリズムに体系的に変換できるか？
• RQ2 受動学習から能動的学習に変換する際のラベル複雑性の向上の一般的な形は何か？ そして、どのように定量化できるか？
• RQ3 提案されたフレームワークはラベルノイズ下でどのように動作するか？ また、受動学習を上回る改善を保証できるか？
• RQ4 真の概念が仮説クラスに含まれない誤ったモデル設定への適用は可能か？
• RQ5 ラベル複雑性が誤差許容度εにどのように依存するか？ そして、多対数的項で有界にできるか？

主な発見

• VCクラスにおけるすべての非自明なターゲット関数および分布に対して、Activized Learningを用いて導出された能動的学習アルゴリズムは、漸近的領域において、元の受動的学習アルゴリズムよりも厳密に優れたラベル複雑性を達成する。
• ラベル複雑性の向上は、能動的学習の収束速度と潜在的な利点を定量化する、新たな不一致係数の一般化によって特徴づけられる。
• 穏やかなノイズ条件下では、能動的アルゴリズムのラベル複雑性はλ(ε) = ⌈12³ ln³(4/ε)⌉で有界であり、1/εに対して多対数的である。
• 誤ったモデル設定下でも、ラベル複雑性は1/εに対して多対数的であり、λ(ε)は最大で多対数的項と、ベイズリスクとクラスの最小誤差の差に依存する項に有界である。
• ノイズなしおよびノイズあり設定の両方で、最終分類器の期待誤差が、高確率でベイズリスクからε以内に収束することが保証される。
• この手法により、能動的アルゴリズムは受動的アルゴリズムのすべての理論的保証を継承するとともに、ラベル効率性を向上させ、既存の受動的学習アルゴリズムを強化する汎用的変換手法を提供する。