[논문 리뷰] The Power of Localization for Efficiently Learning Linear Separators with Noise

Pranjal Awasthi, Maria Florina Balcan외 1명|arXiv (Cornell University)|2013. 07. 31.

Machine Learning and Algorithms참고 문헌 52인용 수 5

한 줄 요약

이 논문은 악성 및 적대적 레이블 노이즈 하에서 선형 분리자 학습을 위한 새로운 국소화 기반 접근법을 제안하며, 등방성 로그볼록 및 균일 분포에서 최적의 Ω(ǫ) 노이즈 내성과 다항시간 알고리즘을 달성한다. 이 방법은 점진적 국소화, 재스케일링된 허프 손실 최소화, 소프트 이상치 제거를 조합하여, 노이즈가 있는 선형 분리자에 대한 첫 번째 다항시간 활성 학습 알고리즘을 가능하게 하며, 수동 방법 대비 지수적으로 향상된 레이블 복잡도를 제공한다.

ABSTRACT

We introduce a new approach for designing computationally efficient and noise tolerant algorithms for learning linear separators. We consider the malicious noise model of Valiant [41, 32] and the adversarial label noise model of Kearns, Schapire, and Sellie [34]. For malicious noise, where the adversary can corrupt an <em>η</em> of fraction both the label part and the feature part, we provide a polynomial-time algorithm for learning linear separators in R^<em>d</em> under the uniform distribution with nearly information-theoretically optimal noise tolerance of <em>η</em> = Ω(<em>ε</em>), improving on the Ω(&amp;epsilon/d^1/4) noise-tolerance of [31] and the Ω(ε²/log(d/ε) of [35]. For the <em>adversarial label noise</em>model, where the distribution over the feature vectors is unchanged, and the overall probability of a noisy label is constrained to be at most <em>η</em>, we give a polynomial-time algorithm for learning linear separators in R^<em>d</em> under the uniform distribution that can also handle a noise rate of <em>η</em> = Ω(<em>ε</em>). This improves over the results of [31] which either required runtime super-exponential in 1/<em>ε</em> (ours is polynomial in 1/<em>ε</em>) or tolerated less noise. In the case that the distribution is isotropic log-concave, we present a polynomial-time algorithm for the malicious noise model that tolerates Ω(ε/log²(1/ε)) noise, and a polynomial-time algorithm for the adversarial label noise model that also handles Ω(ε/log²(1/ε)) noise. Both of these also improve on results from [35]. In particular, in the case of malicious noise, unlike previous results, our noise tolerance has no dependence on the dimension <em>d</em> of the space. Our algorithms are also efficient in the active learning setting, where learning algorithms only receive the classifications of examples when they ask for them. We show that, in this model, our algorithms achieve a label complexity whose dependence on the error parameter <em>ε</em> is polylogarithmic (and thus exponentially better than that of any passive algorithm). This provides the first polynomial time active learning algorithm for learning linear separators in the presence of malicious noise or adversarial label noise.

연구 동기 및 목표

• 악성 노이즈(특성 및 레이블의 손상)와 적대적 레이블 노이즈에 강건한 계산 효율적인 학습 알고리즘을 설계하는 것.
• 등방성 로그볼록 및 균일 분포 하에서 선형 분리자에 대한 노이즈 내성 보장을 향상시키는 것.
• 악성 또는 적대적 레이블 노이즈 하에서 선형 분리자에 대한 첫 번째 다항시간 활성 학습 알고리즘을 개발하는 것.
• 에러 매개변수 ǫ에 대해 다항로그적 의존도를 가지는 레이블 복잡도를 달성하여, 수동 학습 대비 지수적으로 향상시키는 것.

제안 방법

• 이전 데이터를 바탕으로 높은 신뢰도를 가진 영역로 가설 공간을 점진적으로 좁히는 공격적인 국소화를 적용하는 것.
• 노이즈 조건 하에서의 강건성과 수렴을 향상시키기 위해 점진적으로 재스케일링된 허프 손실 함수를 최소화하는 것.
• 노이즈 예측을 적응적으로 식별하고 하향 조정하는 하드 제거 없이도 작동하는 새로운 국소화 및 소프트 이상치 제거 절차를 구현하는 것.
• 등방성 로그볼록성, 단위 구 위의 균일성 등 분포 특성을 활용하여 타겟 초평면이 데이터 클러스터 근처에 존재할 가능성이 높다는 것을 보장함으로써 효과적인 국소화를 가능하게 하는 것.
• 정보가 풍부한 영역에서만 레이블을 쿼리하는 재귀적 활성 학습 프레임워크를 설계하여 레이블 복잡도를 감소시키는 것.
• 국소화된 영역에서의 농도 부등식 및 VC 스타일 일반화 경계를 활용하여 노이즈 하에서 오차와 손실 추정을 통제하는 것.

실험 결과

연구 질문

• RQ1 악성 및 적대적 레이블 노이즈 모델 하에서 near-최적의 노이즈 내성과 다항시간 학습 알고리즘을 설계할 수 있는가?
• RQ2 국소화 기법은 고차원, 노이즈가 많은 환경에서 노이즈 내성 향상에 어떻게 적응시킬 수 있는가?
• RQ3 악성 노이즈 하에서 활성 학습을 효율적이고 강건하게 만들 수 있으며, 수동 학습 대비 레이블 복잡도를 지수적으로 향상시킬 수 있는가?
• RQ4 등방성 로그볼록 및 균일 분포 하에서 선형 분리자에 대한 노이즈 내성의 이론적 한계는 무엇이며, 이를 달성할 수 있는가?

주요 결과

• 제안된 알고리즘은 등방성 로그볼록 분포 하에서 악성 노이즈에 대해 Ω(ǫ)의 노이즈 내성을 달성하며, 정보 이론적 하한선에 상수 인자 범위 내에서 일치한다.
• 단위 구 위의 균일 분포에 대해 알고리즘은 η = Ω(ǫ)의 악성 노이즈를 견딜 수 있으며, 이는 이전의 O(ǫ/d1/4) 및 O(ǫ²/log(d/ǫ))의 경계를 향상시킨다.
• 적대적 레이블 노이즈 모델 하에서 동일한 분포에서 η = Ω(ǫ)의 노이즈 내성을 달성하며, 다항시간 런타임과 향상된 강건성을 확보한다.
• 활성 학습 변형은 ǫ에 대해 다항로그적 의존도를 가지는 레이블 복잡도를 달성하여, 수동 학습 방법 대비 지수적 향상을 제공한다.
• 이 알고리즘은 적대적 레이블 노이즈 하에서 선형 분리자에 대한 첫 번째 다항시간 활성 학습 방법으로, 문헌에 남아 있던 열린 문제를 해결한다.
• 이론적 분석은 기저 분포가 약한 정규성 조건을 만족할 경우, 고수준의 노이즈 수준에서도 오차율이 ǫ 이내로 유한하게 유지됨을 확인한다.