[論文レビュー] Efficient Learning of Linear Separators under Bounded Noise

Pranjal Awasthi, Maria-Florina Balcan+2 more|arXiv (Cornell University)|Mar 12, 2015

Machine Learning and Algorithms参考文献 30被引用数 4

ひとこと要約

本稿では、単位球上の一様分布において、任意に小さい超過誤差を達成する、最初の多項式時間アルゴリズムを提示する。このアルゴリズムは、マッサール（有界）ノイズ下での線形分離器の学習に特化し、ラベル複雑度を $\epsilon$ の対数関数的依存性に抑えるマージンに基づくアクティブラーニング技術を活用する。標準的手法（ヒンジ損失最小化や平均化）の限界を克服する。

ABSTRACT

We study the learnability of linear separators in $\Re^d$ in the presence of bounded (a.k.a Massart) noise. This is a realistic generalization of the random classification noise model, where the adversary can flip each example $x$ with probability $η(x) \leq η$. We provide the first polynomial time algorithm that can learn linear separators to arbitrarily small excess error in this noise model under the uniform distribution over the unit ball in $\Re^d$, for some constant value of $η$. While widely studied in the statistical learning theory community in the context of getting faster convergence rates, computationally efficient algorithms in this model had remained elusive. Our work provides the first evidence that one can indeed design algorithms achieving arbitrarily small excess error in polynomial time under this realistic noise model and thus opens up a new and exciting line of research. We additionally provide lower bounds showing that popular algorithms such as hinge loss minimization and averaging cannot lead to arbitrarily small excess error under Massart noise, even under the uniform distribution. Our work instead, makes use of a margin based technique developed in the context of active learning. As a result, our algorithm is also an active learning algorithm with label complexity that is only a logarithmic the desired excess error $ε$.

研究の動機と目的

• マッサールノイズという現実的で広く研究されているノイズモデル下で、計算的に効率的なアルゴリズムが任意に小さい超過誤差を達成できることを設計すること。
• 有界ノイズ下での線形分離器の学習における計算効率のギャップを解消すること。過去のアルゴリズムは、小さな超過誤差を達成できなかったり、超多項式時間が必要だったりした。
• ヒンジ損失最小化や平均化といった標準的手法が、好都合な分布下でもマッサールノイズ下では任意に小さい超過誤差を達成できないことを示すこと。
• 線形分類の文脈において、統計的効率（高速収束レート）と計算的効率の間の新しい理論的基盤を確立すること。

提案手法

• アルゴリズムは、ラベルを効果的に選択的に問い合わせるマージンに基づくアクティブラーニング技術を用い、必要なラベル数を $\epsilon$ の対数関数的依存性にまで削減する。
• ベイズ最適分類器が線形である分布族 $\mathcal{P}_{\alpha,\eta}$ を構築し、ノイズが定数 $\eta$ で有界であることを保証する。
• ヒンジ損失最小化がこのノイズモデル下で一貫性を示さないことを証明する。具体的には、最適ベクトル $w^*$ がヒンジ損失の期待最小化器と一致しないような分布を構築する。
• 角領域 $A$、$B$、$D$ を用いた幾何的構成を導入し、ヒンジ損失に及ぼすノイズの影響を分析する。これにより、$B$ のノイズが $w^*$ に対して損失を著しく増加させることを示す。
• 非一様ノイズ率に対して強いロバスト性を示すために、標準的な最適化手法を避けて、アクティブサンプリングとマージン最大化に依存する。
• 理論的分析により、提案アルゴリズムが $d$ および $1/\epsilon$ に対して多項式時間で実行可能であり、単位球上の一様分布下で $\mathrm{OPT} + \epsilon$ の誤差を達成できることを示す。

実験結果

リサーチクエスチョン

• RQ1 マッサールノイズという、ランダム分類ノイズよりも現実的であるとされるノイズモデル下で、多項式時間アルゴリズムが線形分離器に対して任意に小さい超過誤差を達成できるか？
• RQ2 なぜヒンジ損失最小化や平均化といった標準的な計算効率の良いアルゴリズムが、マッサールノイズ下では任意に小さい超過誤差を達成できないのか？
• RQ3 マッサールノイズ下で、$\epsilon$ に対して対数的ラベル複雑度を達成する計算的に効率の良いアクティブラーニングアルゴリズムは存在するか？
• RQ4 マッサールノイズ下での高速な統計的収束レートという理論的利点を、計算的に効率の良いアルゴリズムが再現できるか？
• RQ5 ノイズ分布のどのような構造的性質が、線形分類における統計的効率と計算的効率の両立を可能にするのか？

主な発見

• 提案アルゴリズムは、単位球上の一様分布下で、$\eta \leq \eta_0$（定数 $\eta_0$）の有界ノイズのもとで、$d$ および $1/\epsilon$ に対して多項式時間で実行され、$\mathrm{OPT} + \epsilon$ の超過誤差を達成する。
• アルゴリズムのラベル複雑度は $O(\log(1/\epsilon))$ であり、ラベルデータ使用量の観点から非常に効率的である。
• ヒンジ損失最小化はマッサールノイズ下で一貫性を示さない。任意の $\eta_0 > 0$ およびヒンジパラメータ $\tau_0$ に対して、最適ベイズ分類器に収束しないような分布が存在する。
• 平均化アルゴリズムも、非一様ノイズ分布に起因するバイアスを克服できないため、マッサールノイズ下では任意に小さい超過誤差を達成できない。
• ノイズを領域 $A$ と $B$ に戦略的に配置した分布族 $\tilde{D}_{\alpha,\eta}$ を構築し、非対称なノイズ効果により $w^*$ が非最適な $w$ よりも高いヒンジ損失を負うことを見せる。
• 理論的結果により、マッサールノイズが高速な統計的レートを可能にし、本研究がこのモデル下で統計的・計算的両効率性を達成する最初の研究であることが確認される。