[論文レビュー] An Analysis of Active Learning With Uniform Feature Noise

Aaditya Ramdas, Barnabás Póczos+2 more|arXiv (Cornell University)|May 15, 2015

Machine Learning and Algorithms参考文献 7被引用数 3

ひとこと要約

本稿は、一様な特徴量ノイズ下におけるアクティブラーニングを、Berkson誤差変数モデルを用いて分析している。このモデルでは、オラクルは照会された特徴量のノイズありバージョンに対してラベルを返す。ノイズの大きさσが最小最大のノイズなしレート未満の場合、アクティブラーニングは同じ最適レートを達成する。σが大きい場合には、ノイズが逆説的に性能を向上させることがある。これは回帰関数の局所的非平坦化と局所的反対称性に起因し、その結果、ノイズが存在する中でもアクティブ戦略がパッシブ戦略を上回る可能性がある。

ABSTRACT

In active learning, the user sequentially chooses values for feature $X$ and an oracle returns the corresponding label $Y$. In this paper, we consider the effect of feature noise in active learning, which could arise either because $X$ itself is being measured, or it is corrupted in transmission to the oracle, or the oracle returns the label of a noisy version of the query point. In statistics, feature noise is known as "errors in variables" and has been studied extensively in non-active settings. However, the effect of feature noise in active learning has not been studied before. We consider the well-known Berkson errors-in-variables model with additive uniform noise of width $σ$. Our simple but revealing setting is that of one-dimensional binary classification setting where the goal is to learn a threshold (point where the probability of a $+$ label crosses half). We deal with regression functions that are antisymmetric in a region of size $σ$ around the threshold and also satisfy Tsybakov's margin condition around the threshold. We prove minimax lower and upper bounds which demonstrate that when $σ$ is smaller than the minimiax active/passive noiseless error derived in \cite{CN07}, then noise has no effect on the rates and one achieves the same noiseless rates. For larger $σ$, the extit{unflattening} of the regression function on convolution with uniform noise, along with its local antisymmetry around the threshold, together yield a behaviour where noise extit{appears} to be beneficial. Our key result is that active learning can buy significant improvement over a passive strategy even in the presence of feature noise.

研究の動機と目的

• 一様な特徴量ノイズがアクティブラーニングに与える影響、特にしきい値分類の文脈における影響を調査すること。
• 特徴量ノイズがアクティブラーニングアルゴリズムの最小最大レートに与える影響を分析すること。
• 特徴量ノイズが存在する中でも、アクティブラーニングがパッシブラーニングを著しく上回る可能性があるかを調査すること。
• ノイズレベルに適応する新規のアクティブラーニング戦略を構築・分析し、最適レートを維持すること。
• 回帰関数の構造的性質（例：反対称性）に起因して、ノイズが有益に見える条件を探索すること。

提案手法

• オラクルが照会された特徴量 X = W + U（U ~ Unif[-σ, σ]）のノイズありバージョンを観測し、m(X)に基づいてラベル Y を返すBerkson誤差変数モデルを用いる。
• しきい値分類における1次元バイナリ分類を分析し、m(t) = 1/2 で、t のσサイズの近傍でm(x)が反対称となるように設定する。
• しきい値付近での回帰関数の滑らかさを特徴付けるために、Tsybakovのマージン条件を適用する。
• 特徴量ノイズ下でのアクティブおよびパッシブラーニングの最小最大下界・上界を導出し、σがノイズなし最小最大レートに対して相対的にどのようになるかに応じて領域を区別する。
• エポックサイズとノイズレベルに応じて、ノイズなしとノイズあり推定戦略を適応的に切り替えるACTPASSアルゴリズムを提案する。
• Hoeffdingの不等式と集中不等式を用いて、特にWIDEHISTおよびACTPASSフレームワークにおけるヒストグラムベース推定器の推定誤差を制御する。

実験結果

リサーチクエスチョン

• RQ1 アクティブラーニングにおける特徴量ノイズは性能を低下させるか、あるいはレートを向上させる可能性があるか？
• RQ2 ノイズがアクティブラーニングの最小最大レートに影響しない条件は何か？
• RQ3 特徴量ノイズが存在する中でも、アクティブラーニングは依然としてパッシブラーニングを上回るか？
• RQ4 回帰関数が一様ノイズと畳み込みを受けることで、しきい値付近での推定行動にどのような影響が生じるか？
• RQ5 回帰関数のどのような構造的性質（例：反対称性、マージン条件）がノイズが有益に見える原因となるか？

主な発見

• ノイズ幅σがCastro & Nowak (2007)が導出した最小最大ノイズなしレート未満の場合、ノイズは学習レートに影響を及ぼさず、同じノイズなしレートが達成される。
• σが大きい場合には、回帰関数が一様ノイズと畳み込まれることで、しきい値付近で局所的に非平坦化され、反対称性と組み合わさって推定レートが向上する。
• 一様特徴量ノイズを伴うアクティブラーニングは、多くのノイズ領域でパッシブラーニングを上回るレートを達成可能であり、特にノイズの構造的効果が顕著に現れるσが十分に大きい場合に顕著である。
• 提案されたACTPASSアルゴリズムは、エポックサイズとノイズレベルに応じて、ノイズなしとノイズあり推定フェーズを適応的に切り替えることで、タイトな最小最大レートを達成する。
• 解析により、σが増加するにつれて関数クラスが実質的に小さくなることが判明した。これはより厳しいマージン条件（M）に起因し、ノイズの増加に伴うレート向上という直感に反する現象を説明している。
• 鍵となる洞察は、ノイズが情報を追加するためではなく、回帰関数の局所的幾何構造を変化させることで、しきい値の局所化を高速化するためである。