[論文レビュー] Robust Interactive Learning

Maria-Florina Balcan, Steve Hanneke|arXiv (Cornell University)|Nov 6, 2011

Machine Learning and Algorithms参考文献 2被引用数 3

ひとこと要約

この論文は、標準的なアクティブラーニングの一般化として、特定のラベルの例を指定された集合から要求するクラス条件付きクエリを導入し、分析する。アグノスティックおよびボトムノイズ設定の両方において、クエリの複雑さについてほぼタイトな境界を提供し、ノイズ率に関連する要因によって削減されることを示し、未知のノイズ率に対しても最小限のコストで適応可能であることを示している。

ABSTRACT

In this paper we propose and study a generalization of the standard active-learning model where a more general type of query, class conditional query, is allowed. Such queries have been quite useful in applications, but have been lacking theoretical understanding. In this work, we characterize the power of such queries under two well-known noise models. We give nearly tight upper and lower bounds on the number of queries needed to learn both for the general agnostic setting and for the bounded noise model. We further show that our methods can be made adaptive to the (unknown) noise rate, with only negligible loss in query complexity.

研究の動機と目的

• ノイズデータ下でのアクティブラーニングにおけるクラス条件付きクエリのパワーを形式化し、分析すること。
• このクエリタイプを用いて、アグノスティックおよびボトムノイズモデルにおける学習のクエリ複雑さを特徴づけること。
• クラス条件付きクエリを用いたアルゴリズムが、非効率性の著しい損失を伴わず、未知のノイズ率に適応できることを示すこと。
• 標準ラベルクエリをはるかに超えるインタラクティブラーニングモデルの理論的基盤を確立すること。

提案手法

• 未ラベルデータの部分集合内で、指定されたラベルを持つ任意の例を要求できるクエリモデルを提案する。
• 一般アグノスティックおよびボトムノイズの2つのノイズモデルにおけるクエリ複雑さを分析する。
• 概念クラスの複雑さを特徴付けるためにナタラジャン次元を用いる。
• 例の情報量とクエリ複雑さの関係を明示するために、スプリッティングインデックスフレームワーク（Dasgupta, 2005）を適用する。
• 誤分類例を効率的に特定するために、Find-Mistakeオракルを用いたアルゴリズムを開発する。
• 既知のアクティブラーニングの結果への還元を用いて、上界および下界を確立する。

実験結果

リサーチクエスチョン

• RQ1 ノイズ下でのクラス条件付きクエリのクエリ複雑さは、標準的なアクティブラーニングと比べてどのように異なるか？
• RQ2 アグノスティックおよびボトムノイズ設定におけるクラス条件付きクエリの理論的パワーは何か？
• RQ3 クラス条件付きクエリを用いたアルゴリズムは、非効率性の著しい損失を伴わず、未知のノイズ率に適応できるか？
• RQ4 ノイズが存在する状況で、所定の誤差率を達成するために必要な最小クエリ数は何か？

主な発見

• アグノスティック設定（ノイズ率 η）では、クエリ複雑さは Ω(dη²/ǫ²) および ˜O(dη²/ǫ²) であり、パッシブラーニングと比較して η の要因によって削減されている。
• ボトムノイズモデルでは、標準的なアクティブラーニングと比較して、ノイズバウンド α に比例する要因によってクエリ複雑さが削減されている。
• 提案手法は、クエリ複雑さのわずかな損失のみで、未知のノイズ率に適応可能である。
• 区間分類器 [0,1] に対して、クラス条件付きクエリのクエリ複雑さは Ω(α/ǫ) であり、定数因子を除いて下界と一致している。
• 理論的境界は、特にノイズのある状況において、クラス条件付きクエリがアクティブラーニングを一貫して改善できることを示している。
• サンプルベースの同値クエリなどの関連クエリタイプに対しても、わずか k の損失を伴うだけで結果が拡張可能である。