[論文レビュー] Efficient active learning of sparse halfspaces with arbitrary bounded noise

Chicheng Zhang, Jie Shen+1 more|arXiv (Cornell University)|Feb 12, 2020

Machine Learning and Algorithms被引用数 5

ひとこと要約

本稿では、任意の有界ノイズ下での $s$-スパースなハーフスペースの学習に対して、多項式時間のアクティブラーニングアルゴリズムを提示する。ここでラベルの反転確率は $\eta < \frac{1}{2}$ 以下である。ラベル複雑性は $\tilde{O}\big(\frac{s}{(1-2\eta)^4} \cdot \mathrm{polylog}(d, \frac{1}{\epsilon})\big)$ であり、$\frac{1}{1-2\eta}$ に対して多項式的依存を持つ最初の有効な手法であり、$\eta \to \frac{1}{2}$ に近づく場合でもラベル効率を維持できる。

ABSTRACT

We study active learning of homogeneous $s$-sparse halfspaces in $\mathbb{R}^d$ under the setting where the unlabeled data distribution is isotropic log-concave and each label is flipped with probability at most $\eta$ for a parameter $\eta \in \big[0, \frac12\big)$, known as the bounded noise. Even in the presence of mild label noise, i.e. $\eta$ is a small constant, this is a challenging problem and only recently have label complexity bounds of the form $ ilde{O}\big(s \cdot \mathrm{polylog}(d, \frac{1}{\epsilon})\big)$ been established in [Zhang, 2018] for computationally efficient algorithms. In contrast, under high levels of label noise, the label complexity bounds achieved by computationally efficient algorithms are much worse: the best known result of [Awasthi et al., 2016] provides a computationally efficient algorithm with label complexity $ ilde{O}\big((\frac{s \ln d}{\epsilon})^{2^{\mathrm{poly}(1/(1-2\eta))}} \big)$, which is label-efficient only when the noise rate $\eta$ is a fixed constant. In this work, we substantially improve on it by designing a polynomial time algorithm for active learning of $s$-sparse halfspaces, with a label complexity of $ ilde{O}\big(\frac{s}{(1-2\eta)^4} \mathrm{polylog} (d, \frac 1 \epsilon) \big)$. This is the first efficient algorithm with label complexity polynomial in $\frac{1}{1-2\eta}$ in this setting, which is label-efficient even for $\eta$ arbitrarily close to $\frac12$. Our active learning algorithm and its theoretical guarantees also immediately translate to new state-of-the-art label and sample complexity results for full-dimensional active and passive halfspace learning under arbitrary bounded noise. The key insight of our algorithm and analysis is a new interpretation of online learning regret inequalities, which may be of independent interest.

研究の動機と目的

• 任意の有界ノイズ下での $s$-スパースなハーフスペースの計算的に効率的なアクティブラーニングアルゴリズムの設計。
• ノイズ率 $\eta$ が $\frac{1}{2}$ に近づいても依然としてラベル効率的なラベル複雑性を達成すること。
• 過去の計算的に効率的なアルゴリズムが $\eta$ と共に指数的に悪化するのを改善すること。
• 有界ノイズ下でのアクティブおよびパッシブなハーフスペース学習における、ラベルおよびサンプル複雑性の新たな最良境界を確立すること。

提案手法

• オンラインラーニングのレジスト不等式の新しい解釈を活用して、アクティブサンプリングを誘導する。
• スパースな線形分類器を維持しながら、最も情報量の多い未ラベル付き例を段階的に問い合わせるコアサブルーチンを用いる。
• ラベルの反転を $\eta < \frac{1}{2}$ の割合まで耐性を持つノイズに強い推定技術を組み込む。
• アクティブラーニングプロセスにおける有効なノイズレベルを低減するためのフィルタリング機構を適用する。
• スパarsityとノイズの両方を考慮した、洗練されたレジスト分解を用いてラベル複雑性を上限付ける。
• アルゴリズムは多項式時間で動作し、$\frac{1}{1-2\eta}$ に対して多項式的ラベル複雑性を達成する。

実験結果

リサーチクエスチョン

• RQ1 スパースなハーフスペースの計算的に効率的なアクティブラーニングアルゴリズムを設計できるか。その際、高ノイズ率下でもラベル効率を維持できるか。
• RQ2 任意の有界ノイズ下での $s$-スパースなハーフスペース学習における最適なラベル複雑性は何か。
• RQ3 オンラインラーニングのレジスト不等式を再解釈することで、ノイズラベル下でのアクティブラーニングをどのように改善できるか。
• RQ4 $\eta \to \frac{1}{2}$ に近づく場合でも、$\frac{1}{1-2\eta}$ に対して多項式的ラベル複雑性を達成できるか。
• RQ5 このアルゴリズムは、有界ノイズ下でのパッシブなハーフスペース学習にどのような意味を持つのか。

主な発見

• 提案されたアルゴリズムは、$\tilde{O}\big(\frac{s}{(1-2\eta)^4} \cdot \mathrm{polylog}(d, \frac{1}{\epsilon})\big)$ のラベル複雑性を達成し、$\frac{1}{1-2\eta}$ に対して多項式的依存である。
• これは、任意の有界ノイズ下で、このようなラベル複雑性を持つ最初の計算的に効率的なアクティブラーニングアルゴリズムである。
• 従来の手法とは異なり、ノイズ率 $\eta$ が $\frac{1}{2}$ に限りなく近づいても、このアルゴリズムは依然としてラベル効率的である。
• オンラインラーニングのレジスト不等式の新しい解釈に基づく理論的枠組みは、より優れたノイズ耐性学習の基盤を提供する。
• この結果は、有界ノイズ下でのアクティブおよびパッシブなハーフスペース学習における、改善されたラベルおよびサンプル複雑性境界を即座に得る。
• この手法は、この文脈におけるラベル複雑性の新たな最良状態を確立し、特に高ノイズ環境下で、従来のアプローチを著しく上回る。