[논문 리뷰] Efficient active learning of sparse halfspaces with arbitrary bounded noise

Chicheng Zhang, Jie Shen외 1명|arXiv (Cornell University)|2020. 02. 12.

Machine Learning and Algorithms인용 수 5

한 줄 요약

이 논문은 임의의 유한한 노이즈 하에서 $s$-희소 반공간을 학습하기 위한 다항시간 활성 학습 알고리즘을 제안한다. 여기서 레이블은 $\eta < \frac{1}{2}$ 이하의 확률로 뒤집어진다. 레이블 복잡도는 $\tilde{O}\big(\frac{s}{(1-2\eta)^4} \cdot \mathrm{polylog}(d, \frac{1}{\epsilon})\big)$를 달성하며, 이는 $\frac{1}{1-2\eta}$에 대해 다항적 의존성을 가지는 최초의 효율적인 방법으로, $\eta \to \frac{1}{2}$일 때에도 레이블 효율성을 유지한다.

ABSTRACT

We study active learning of homogeneous $s$-sparse halfspaces in $\mathbb{R}^d$ under the setting where the unlabeled data distribution is isotropic log-concave and each label is flipped with probability at most $\eta$ for a parameter $\eta \in \big[0, \frac12\big)$, known as the bounded noise. Even in the presence of mild label noise, i.e. $\eta$ is a small constant, this is a challenging problem and only recently have label complexity bounds of the form $ ilde{O}\big(s \cdot \mathrm{polylog}(d, \frac{1}{\epsilon})\big)$ been established in [Zhang, 2018] for computationally efficient algorithms. In contrast, under high levels of label noise, the label complexity bounds achieved by computationally efficient algorithms are much worse: the best known result of [Awasthi et al., 2016] provides a computationally efficient algorithm with label complexity $ ilde{O}\big((\frac{s \ln d}{\epsilon})^{2^{\mathrm{poly}(1/(1-2\eta))}} \big)$, which is label-efficient only when the noise rate $\eta$ is a fixed constant. In this work, we substantially improve on it by designing a polynomial time algorithm for active learning of $s$-sparse halfspaces, with a label complexity of $ ilde{O}\big(\frac{s}{(1-2\eta)^4} \mathrm{polylog} (d, \frac 1 \epsilon) \big)$. This is the first efficient algorithm with label complexity polynomial in $\frac{1}{1-2\eta}$ in this setting, which is label-efficient even for $\eta$ arbitrarily close to $\frac12$. Our active learning algorithm and its theoretical guarantees also immediately translate to new state-of-the-art label and sample complexity results for full-dimensional active and passive halfspace learning under arbitrary bounded noise. The key insight of our algorithm and analysis is a new interpretation of online learning regret inequalities, which may be of independent interest.

연구 동기 및 목표

• 임의의 유한한 노이즈 하에서 $s$-희소 반공간을 학습하기 위한 계산적으로 효율적인 활성 학습 알고리즘을 설계하는 것.
• 노이즈 비율 $\eta$가 $\frac{1}{2}$에 가까워질 때에도 레이블 복잡도가 효율적인 유지가 가능한 것.
• 이전의 계산적으로 효율적인 알고리즘들이 노이즈 비율 $\eta$에 따라 지수적으로 악화되는 것보다 향상된 것.
• 유한한 노이즈 하에서 활성 및 수동 반공간 학습에 대해 새로운 최상위 수준의 레이블 및 샘플 복잡도 한계를 설정하는 것.

제안 방법

• 온라인 학습의 오차 불평등식을 새롭게 해석하여 활성 샘플링을 이끌어내는 데 활용한다.
• 가장 정보가 많은 미레이블된 예제를 적응적으로 쿼리하는 핵심 서브루틴을 사용하여 희소 선형 분류기를 유지한다.
• 레이블 뒤집힘을 $\eta < \frac{1}{2}$까지 처리할 수 있는 노이즈 내성 추정 기법을 통합한다.
• 활성 학습 과정에서의 효과적 노이즈 수준을 줄이기 위해 필터링 메커니즘을 적용한다.
• 희소성과 노이즈를 모두 고려한 정교한 오차 분해를 통해 레이블 복잡도를 근사한다.
• 알고리즘은 다항 시간 내에 작동하며, $\frac{1}{1-2\eta}$에 대해 다항 레이블 복잡도를 달성한다.

실험 결과

연구 질문

• RQ1 노이즈 비율이 높을 때에도 레이블 효율성을 유지하는 계산적으로 효율적인 활성 학습 알고리즘을 설계할 수 있는가?
• RQ2 임의의 유한한 노이즈 하에서 $s$-희소 반공간 학습에 대해 달성 가능한 최적의 레이블 복잡도는 무엇인가?
• RQ3 온라인 학습의 오차 불평등식을 어떻게 재해석하여 노이즈 레이블 하에서의 활성 학습을 향상시킬 수 있는가?
• RQ4 노이즈 비율 $\eta \to \frac{1}{2}$일 때에도 $\frac{1}{1-2\eta}$에 대해 지수적 의존성 대신 다항적 의존성을 가지는 레이블 복잡도를 확보할 수 있는가?
• RQ5 이 알고리즘이 유한한 노이즈 하에서 수동 반공간 학습에 미치는 영향은 무엇인가?

주요 결과

• 제안된 알고리즘은 $\tilde{O}\big(\frac{s}{(1-2\eta)^4} \cdot \mathrm{polylog}(d, \frac{1}{\epsilon})\big)$의 레이블 복잡도를 달성하며, 이는 $\frac{1}{1-2\eta}$에 대해 다항적이다.
• 이는 임의의 유한한 노이즈 하에서 이러한 레이블 복잡도를 가지는 최초의 계산적으로 효율적인 활성 학습 알고리즘이다.
• 이전의 방법들과 달리, 노이즈 비율 $\eta$가 $\frac{1}{2}$에 근접할 때에도 알고리즘이 레이블 효율성을 유지한다.
• 온라인 학습 오차 불평등식의 새로운 해석에 기반한 이론적 프레임워크는 노이즈에 강건한 학습 향상에 기초를 마련한다.
• 결과적으로 이는 유한한 노이즈 하에서 활성 및 수동 반공간 학습에 대해 향상된 레이블 및 샘플 복잡도 한계를 즉각적으로 도출한다.
• 이 방법은 이 설정에서 레이블 복잡도의 새로운 최상위 수준을 설정하며, 고노이즈 환경에서 이전의 접근보다 크게 뛰어나다.