[논문 리뷰] An Analysis of Active Learning With Uniform Feature Noise

Aaditya Ramdas, Barnabás Póczos외 2명|arXiv (Cornell University)|2015. 05. 15.

Machine Learning and Algorithms참고 문헌 7인용 수 3

한 줄 요약

이 논문은 베르크슨 오차-변수 모델을 사용하여 균일한 특징 노이즈 하에서의 능동 학습을 분석한다. 여기서 오라클은 쿼리된 특징의 노이즈 있는 버전에 대한 레이블을 반환한다. 노이즈 수준 σ가 최소최대 노이즈 없는 비율보다 낮을 경우, 능동 학습은 동일한 최적 속도를 달성한다. σ가 더 클 경우, 노이즈가 오히려 성능을 향상시킬 수 있는데, 이는 회귀 함수의 국소적 비평탄화와 국소적 반대칭성으로 인해 발생하며, 이로 인해 능동 학습 전략이 노이즈가 존재하는 상황에서도 수동 전략을 능가할 수 있다.

ABSTRACT

In active learning, the user sequentially chooses values for feature $X$ and an oracle returns the corresponding label $Y$. In this paper, we consider the effect of feature noise in active learning, which could arise either because $X$ itself is being measured, or it is corrupted in transmission to the oracle, or the oracle returns the label of a noisy version of the query point. In statistics, feature noise is known as "errors in variables" and has been studied extensively in non-active settings. However, the effect of feature noise in active learning has not been studied before. We consider the well-known Berkson errors-in-variables model with additive uniform noise of width $σ$. Our simple but revealing setting is that of one-dimensional binary classification setting where the goal is to learn a threshold (point where the probability of a $+$ label crosses half). We deal with regression functions that are antisymmetric in a region of size $σ$ around the threshold and also satisfy Tsybakov's margin condition around the threshold. We prove minimax lower and upper bounds which demonstrate that when $σ$ is smaller than the minimiax active/passive noiseless error derived in \cite{CN07}, then noise has no effect on the rates and one achieves the same noiseless rates. For larger $σ$, the extit{unflattening} of the regression function on convolution with uniform noise, along with its local antisymmetry around the threshold, together yield a behaviour where noise extit{appears} to be beneficial. Our key result is that active learning can buy significant improvement over a passive strategy even in the presence of feature noise.

연구 동기 및 목표

• 균일한 특징 노이즈가 능동 학습에 미치는 영향, 특히 임계값 분류의 맥락에서의 영향을 연구하는 것.
• 특징 노이즈가 능동 학습 알고리즘의 최소최대 비율에 영향을 주는지 여부와 그 방식을 분석하는 것.
• 특징 노이즈가 존재하는 상황에서도 능동 학습이 수동 학습을 상당히 능가할 수 있는지 조사하는 것.
• 노이즈 수준에 적응하고 최적 비율을 유지할 수 있는 새로운 능동 학습 전략을 개발하고 분석하는 것.
• 회귀 함수의 구조적 특성(예: 반대칭성)으로 인해 노이즈가 이로운 것으로 나타나는 조건을 탐색하는 것.

제안 방법

• 오라클이 쿼리된 특징 X = W + U를 관측하고, U ~ Unif[-σ, σ]이며, m(X) 기반으로 레이블 Y를 반환하는 베르크슨 오차-변수 모델을 사용한다.
• 임계값 분류에 적합한 1차원 이진 분류를 분석하며, m(t) = 1/2이고, t를 중심으로 σ 크기의 이웃에서 m(x)가 반대칭이다.
• 임계값 근처에서 회귀 함수의 매끄러움을 기술하기 위해 츠야바코프의 마진 조건을 적용한다.
• 특징 노이즈 하에서 능동 학습과 수동 학습의 최소최대 하한 및 상한을 유도하며, 노이즈 없는 최소최대 비율에 대한 σ의 상대적 크기에 따라 영역을 구분한다.
• 노이즈 수준과 에포크 크기에 따라 노이즈 없는 추정 전략과 노이즈 있는 추정 전략을 적응적으로 전환하는 ACTPASS 알고리즘을 제안한다.
• 특히 WIDEHIST 및 ACTPASS 프레임워크에서 히스토그램 기반 추정기의 추정 오차를 제어하기 위해 호프딩 부등식과 집중 경계를 활용한다.

실험 결과

연구 질문

• RQ1 능동 학습에서 특징 노이즈는 성능을 떨어뜨리는가, 아니면 더 나은 비율을 이끌 수 있는가?
• RQ2 노이즈가 최소최대 비율에 영향을 주지 않는 조건은 무엇인가?
• RQ3 특징 노이즈가 존재하는 상황에서도 능동 학습이 수동 학습을 능가할 수 있는가?
• RQ4 균일한 노이즈와의 컨볼루션은 임계값 근처에서 회귀 함수의 추정 행동에 어떤 영향을 미치는가?
• RQ5 회귀 함수의 어떤 구조적 특성(예: 반대칭성, 마진 조건)이 노이즈가 이로운 것으로 보이게 하는가?

주요 결과

• 노이즈 폭 σ가 캐스트로 및 노와크(2007)에 의해 유도된 최소최대 노이즈 없는 비율보다 작을 경우, 노이즈는 학습 비율에 영향을 주지 않으며, 동일한 노이즈 없는 비율이 달성된다.
• 더 큰 σ일 경우, 회귀 함수가 균일한 노이즈와의 컨볼루션으로 인해 국소적으로 비평탄해지며, 반대칭성과 결합되어 추정 비율이 향상된다.
• 균일한 특징 노이즈가 존재하는 상황에서도 능동 학습은 대부분의 노이즈 영역에서 수동 학습보다 더 나은 비율을 달성할 수 있으며, 특히 유익한 구조적 효과를 유도할 수 있는 정도로 σ가 충분히 클 경우에 특히 그렇다.
• 제안된 ACTPASS 알고리즘은 에포크 크기와 노이즈 수준에 따라 노이즈 없는 추정 단계와 노이즈 있는 추정 단계를 적응적으로 전환함으로써 날카운 최소최대 비율을 달성한다.
• 분석 결과, 노이즈 수준 σ가 증가함에 따라 엄격한 마진 조건(M)으로 인해 함수 클래스가 실제로 작아지며, 이는 노이즈 증가에 따라 비율 향상이라는 직관에 어긋나는 현상을 설명한다.
• 핵심 통찰은 노이즈가 정보를 추가하기 때문이 아니라, 회귀 함수의 국소 기하학적 구조를 변화시켜 더 빠른 임계값 국소화를 가능하게 하기 때문이다.