[논문 리뷰] Distribution-Independent PAC Learning of Halfspaces with Massart Noise

Ilias Diakonikolas, Themis Gouleakis외 1명|arXiv (Cornell University)|2019. 06. 24.

Machine Learning and Algorithms참고 문헌 39인용 수 12

한 줄 요약

이 논문은 Massart 노이즈 하에서 반공간의 분포독립적 PAC 학습을 위한 최초의 다항시간 알고리즘을 제시하며, $ eta + \epsilon$의 오분류 오차를 $ mathrm{poly}(d, 1/\epsilon)$ 시간 내에 달성한다. 이 방법은 충실도 있는 추정 프레임워크와 볼록 최적화를 결합하여, $ eta < 1/2$로 제한된 적대적 노이즈 비율을 처리하며, 계산학습이론에서 오랫동안 미해결된 문제를 해결한다.

ABSTRACT

We study the problem of {\em distribution-independent} PAC learning of halfspaces in the presence of Massart noise. Specifically, we are given a set of labeled examples $(\mathbf{x}, y)$ drawn from a distribution $\mathcal{D}$ on $\mathbb{R}^{d+1}$ such that the marginal distribution on the unlabeled points $\mathbf{x}$ is arbitrary and the labels $y$ are generated by an unknown halfspace corrupted with Massart noise at noise rate $η&lt;1/2$. The goal is to find a hypothesis $h$ that minimizes the misclassification error $\mathbf{Pr}_{(\mathbf{x}, y) \sim \mathcal{D}} \left[ h(\mathbf{x}) eq y ight]$. We give a $\mathrm{poly}\left(d, 1/ε ight)$ time algorithm for this problem with misclassification error $η+ε$. We also provide evidence that improving on the error guarantee of our algorithm might be computationally hard. Prior to our work, no efficient weak (distribution-independent) learner was known in this model, even for the class of disjunctions. The existence of such an algorithm for halfspaces (or even disjunctions) has been posed as an open question in various works, starting with Sloan (1988), Cohen (1997), and was most recently highlighted in Avrim Blum's FOCS 2003 tutorial.

연구 동기 및 목표

• Massart 노이즈 하에서 반공간의 효율적인 분포독립적 약한 학습이 가능한지 여부를 해결하는 것.
• 모든 $ eta < 1/2$에 대해, 입력의 마진 분포가 임의일지라도, 오분류 오차 $\\eta + \epsilon$를 달성하는 다항시간 알고리즘을 제공하는 것.
• Massart 노이즈 하에서 분포자유 PAC 모델에서 반공간 학습을 위한 첫 번째 비자명한 알고리즘 보장을 확립하는 것.
• $ eta + \epsilon$를 초월한 오차 한계 향상이 계산적으로 어려울 수 있음을 뒷받침하는 증거를 제공하는 것.

제안 방법

• 학습 목표를 강화하기 위해, 레이블 노이즈에 대한 내성적 특성을 보장하기 위해 볼록 대체 손실 함수 $\phi$를 사용한다.
• 레이블이 부여된 예제들에 대해 대체 손실의 기울기를 분석하여 낮은 오차를 가진 가설을 식별하는 새로운 강건한 추정 기법을 적용한다.
• 오차의 최악의 경우 행동을 분석할 수 있도록, $ mathbb{R}^d$ 내 점들에 대한 분포를 제어 가능한 마진과 노이즈를 가질 수 있도록 구성한다.
• 볼록 최적화를 통해 훈련된 선형 분류기의 출력에 임계값 기반 메커니즘을 적용하여, 최종 가설이 반공간이 되도록 보장한다.
• 비대칭 노이즈 하에서 대체 함수 $\phi$의 도함수 성질을 이용하여 오분류 오차를 경계하는 분석을 수행한다.
• 일부 조건 하에서, 볼록 대체 함수를 최소화하고 임계값을 적용하는 방식의 알고리즘은 최악의 경우 $\eta + \Omega(\eta)$를 초월할 수 없음을 증명한다.

실험 결과

연구 질문

• RQ1 입력 분포가 임의이고 레이블 노이즈가 $\eta < 1/2$로 제한된 Massart 노이즈 하에서, 반공간에 대한 효율적인 분포독립적 약한 학습기를 설계할 수 있는가?
• RQ2 Massart 노이즈 모델 하에서, $ mathrm{OPT} \leq \eta$일 때, 다항시간 내에 오분류 오차를 $ mathrm{OPT} + \epsilon$로 달성할 수 있는가?
• RQ3 이 설정에서 $\eta + \epsilon$를 초월한 오차 보장을 향상시키는 데 기본적인 계산적 장벽이 존재하는가?
• RQ4 동일한 알고리즘 프레임워크를 적절한 학습(즉, 최적의 반공간에 가까운 오차를 가진 반공간 가설을 출력하는 것)으로 확장할 수 있는가?
• RQ5 Massart 모델에서 볼록 최적화 기반 방법의 적대적 노이즈 처리 능력의 한계는 무엇인가?

주요 결과

• 논문은 모든 $\eta < 1/2$에 대해 오분류 오차 $\eta + \epsilon$를 달성하는 다항시간 알고리즘을 제시하며, 런타임은 $\mathrm{poly}(d, b, 1/\epsilon)$이다. 여기서 $b$는 예제의 비트 복잡도이다.
• 알고리즘은 분포독립적이다. 즉, $ mathbb{R}^d$의 입력 공간에서의 어떤 마진 분포에도 적용 가능하며, 오랫동안 미해결이었던 문제를 해결한다.
• 모든 볼록 대체 함수를 최소화하고 임계값을 적용하는 알고리즘은 최악의 경우 $\eta + \Omega(\eta)$를 초월할 수 없음을 보여주는 하한선을 제시한다. 이는 이러한 접근의 본질적 한계를 시사한다.
• 이 결과는 Sloan(1988), Cohen(1997), Avrim Blum(2003)이 제기한, Massart 노이즈 하에서 논리합과 반공간의 약한 학습 문제에 대한 열린 질문을 해결한다.
• 제시된 하한선 예시를 바탕으로, 오차 보장을 $ mathrm{OPT} + \epsilon$로 향상시키는 것이 계산적으로 비가능할 수 있음을 뒷받침하는 증거를 제공한다.
• 이 방법은 반공간 외에도 선형 임계함수의 더 넓은 클래스에 적용 가능하며, 이 프레임워크는 Massart 노이즈 하에서 다른 개념 클래스로도 확장될 수 있다.