[論文レビュー] Noise-adaptive Margin-based Active Learning and Lower Bounds under Tsybakov Noise Condition

Yining Wang, Aarti Singh|arXiv (Cornell University)|Jun 20, 2014

Machine Learning and Algorithms参考文献 25被引用数 13

ひとこと要約

本稿では、未知のTsybakovノイズレベルに自動的に適応するノイズ適応型マージンベースのアクティブラーニング手法を、同次線形分類器に対して提案する。この手法は、多項対数要因を除いて最適な統計的収束速度を達成する。また、単純な一様分布のデータ分布ですら、既存のレートを超える改善が不可能であることを示すタイトな下界を確立し、マージンベースの手法の最適性を証明する。

ABSTRACT

We present a simple noise-robust margin-based active learning algorithm to find homogeneous (passing the origin) linear separators and analyze its error convergence when labels are corrupted by noise. We show that when the imposed noise satisfies the Tsybakov low noise condition (Mammen, Tsybakov, and others 1999; Tsybakov 2004) the algorithm is able to adapt to unknown level of noise and achieves optimal statistical rate up to poly-logarithmic factors. We also derive lower bounds for margin based active learning algorithms under Tsybakov noise conditions (TNC) for the membership query synthesis scenario (Angluin 1988). Our result implies lower bounds for the stream based selective sampling scenario (Cohn 1990) under TNC for some fairly simple data distributions. Quite surprisingly, we show that the sample complexity cannot be improved even if the underlying data distribution is as simple as the uniform distribution on the unit ball. Our proof involves the construction of a well separated hypothesis set on the d-dimensional unit ball along with carefully designed label distributions for the Tsybakov noise condition. Our analysis might provide insights for other forms of lower bounds as well.

研究の動機と目的

• ノイズパラメータ α の事前知識なしに、未知のTsybakovノイズレベルに適応するマージンベースのアクティブラーニングアルゴリズムの開発。
• 同次線形分離器におけるTsybakovノイズ条件（TNC）下での提案アルゴリズムの統計的収束速度の分析。
• メンバーシップクエリ合成設定におけるTNC下でのアクティブラーニングに対するタイトな下界の確立し、標本複雑度の根本的限界を示す。
• ユニット球上の一様分布のような単純なデータ分布ですら、既存のレートを超える改善は不可能であることを示す。
• Tsybakovノイズ条件下で、以前に提案されたマージンベースのアクティブラーニングアルゴリズムが最適であることを証明し、それらの根本的限界に関する未解決の問いを解決する。

提案手法

• 観測されたラベルノイズに応じて動的に調整されるマージンベースのクエリ戦略を用いる。これは、適応的確率的凸最適化手法にインspiredされている。
• d次元単位球面上に、良好に分離された線形分離器の仮説集合を構築し、各仮説に対して明確な決定境界を保証する。
• Tsybakovノイズ条件を活用し、決定境界付近でのラベルノイズの確率が多項式的に減少するよう定式化し、α ∈ (0,1) でパラメータ化される。
• 異なる仮説下でのラベル分布間のKLダイバージェンスを用いた情報理論的下界を適用し、モデルの識別可能性を制限する。
• 凸性パラメータ ρ に対応するパラメータ r を調整することで、ノイズ適応型に設計され、適応的最適化理論と関連付ける。
• 理論的分析では、集中不等式と仮説集合の分離を組み合わせ、TNC下での収束速度と下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 Tsybakovノイズ条件下で、ノイズパラメータ α の事前知識なしに、マージンベースのアクティブラーニングアルゴリズムが最適な収束速度を達成できるか？
• RQ2 データ分布がユニット球上の一様分布であっても、Tsybakovノイズ下でのアクティブラーニングにおける標本複雑度の根本的限界は何か？
• RQ3 既存のマージンベースのアクティブラーニングアルゴリズムは、TNC下で最適なレートを達成しているのか、それとも改善可能か？
• RQ4 メンバーシップクエリ合成シナリオにおける下界は、TNC下でストリームベース選択的サンプリングシナリオに対しても成立するか？
• RQ5 適応的確率的凸最適化とアクティブラーニングの関係は、Tsybakovノイズを伴う多次元かつ非分離可能な設定へ拡張可能か？

主な発見

• 提案されたノイズ適応型マージンベースのアクティブラーニングアルゴリズムは、Tsybakovノイズ条件下で Õ((d/T)^{1/(2α)}) の収束速度を達成し、多項対数要因を除いて最適な統計的レートに一致する。
• アルゴリズムは、α ∈ (0,1) の未知のノイズレベルに事前知識なしに自動的に適応可能であり、実世界の応用において実用的である。
• メンバーシップクエリ合成設定におけるTNC下で、タイトな下界 Ω((d/T)^{1/(2α)}) が確立され、いかなるアルゴリズムでもより良いレートを達成できないことが証明された。
• d次元ユニット球上の一様分布ですら、確立されたレートを超える標本複雑度の改善は不可能であり、一様分布がTNC下でのアクティブラーニング問題を単純化しないことを示唆する。
• 下界の結果から、既存のマージンベースのアクティブラーニングアルゴリズムがTNC下で標本複雑度の観点から最適であることが示され、理論的最適性が確認された。
• 分析により、Tsybakovノイズと一様凸関数との深い関係が明らかになり、ρ < 2 の非強い凸設定に対しても適応的最適化アルゴリズムを拡張可能である可能性が示唆された。