[논문 리뷰] Hardness of Learning Halfspaces with Massart Noise.

Ilias Diakonikolas, Daniel M. Kane|arXiv (Cornell University)|2020. 12. 17.

Machine Learning and Algorithms참고 문헌 57인용 수 13

한 줄 요약

이 논문은 Massart 노이즈 하에서 반공간을 학습할 때, 정보이론적으로 최적의 오차와 다항시간 통계쿼리(SQ) 알고리즘으로 달성 가능한 최고의 오차 사이에 지수적 간극이 있음을 규명한다. 다항시간 SQ 알고리즘으로 최적 오차를 다항인자 내에서 근사하는 것은 불가능하며, 이는 계산학습이론에서 오랫동안 열려있던 문제를 해결한다.

ABSTRACT

We study the complexity of PAC learning halfspaces in the presence of Massart (bounded) noise. Specifically, given labeled examples $(x, y)$ from a distribution $D$ on $\mathbb{R}^{n} imes \{ \pm 1\}$ such that the marginal distribution on $x$ is arbitrary and the labels are generated by an unknown halfspace corrupted with Massart noise at rate $\eta<1/2$, we want to compute a hypothesis with small misclassification error. Characterizing the efficient learnability of halfspaces in the Massart model has remained a longstanding open problem in learning theory. Recent work gave a polynomial-time learning algorithm for this problem with error $\eta+\epsilon$. This error upper bound can be far from the information-theoretically optimal bound of $\mathrm{OPT}+\epsilon$. More recent work showed that {\em exact learning}, i.e., achieving error $\mathrm{OPT}+\epsilon$, is hard in the Statistical Query (SQ) model. In this work, we show that there is an exponential gap between the information-theoretically optimal error and the best error that can be achieved by a polynomial-time SQ algorithm. In particular, our lower bound implies that no efficient SQ algorithm can approximate the optimal error within any polynomial factor.

연구 동기 및 목표

• Massart 노이즈 하에서 반공간을 학습하는 데 있어 복잡도를 해결하는 것, 학습이론에서 오랫동안 열려있던 문제이다.
• 제한된 노이즈 하에서 효율적인 알고리즘이 정보이론적으로 최적의 오차에 가까운 오차를 달성할 수 있는지 여부를 규명하는 것.
• 이 학습 문제에 대해 다항시간 SQ 알고리즘의 성능에 대한 날것의 하한을 설정하는 것.
• 효율적인 SQ 알고리즘으로 달성 가능한 최고의 오차가 최적 오차보다 지수적으로 열악하다는 것을 보여주는 것.

제안 방법

• 저자들은 Massart 노이즈 하에서 반공간을 학습하는 데 있어 통계쿼리(SQ) 모델의 한계를 분석한다.
• 모든 SQ 알고리즘이 부분적으로 최적의 오차를 달성하기 위해 지수적으로 많은 쿼리를 해야 한다는 것을 보여주기 위해, 어려운 분포 가족을 구성한다.
• 이 증명은 노이즈 비율과 SQ 알고리즘의 쿼리 복잡도 사이의 관계를 연결하는 새로운 복잡도이론적 추론에 기반한다.
• 어려운 학습 문제에서 반공간 학습 과제로의 감소를 통해, 후자를 효율적으로 해결할 수 있다면 전자를도 해결할 수 있음을 보여준다.
• 분석은 목표 반공간과 SQ 쿼리로 학습할 수 있는 어떤 가설과의 상관관계를 제한하는 데 초점을 맞춘다.
• 핵심 기술적 구성 요소는 최적의 가설이 낮은 오차를 가짐에도 불구하고, 어떤 효율적인 SQ 알고리즘도 그것을 찾을 수 없는 레이블이 부여된 예제의 분포를 구성하는 것이다.

실험 결과

연구 질문

• RQ1 Massart 노이즈 하에서 다항시간 SQ 알고리즘이 정보이론적으로 최적의 오차에 가까운 오차를 달성할 수 있는가?
• RQ2 어떤 효율적인 알고리즘이 최적 오차를 다항인자 내에서 근사하는 것을 막는 본질적인 계산적 장벽이 존재하는가?
• RQ3 Massart 노이즈 모델에서 어떤 효율적인 SQ 알고리즘도 달성할 수 있는 최고의 오차 한계는 무엇인가?
• RQ4 오차가 η+ε인 다항시간 알고리즘이 존재한다는 것은 더 나은 오차 한계가 계산적으로 가능함을 의미하는가?

주요 결과

• Massart 노이즈 모델에서 다항시간 SQ 알고리즘은 최적 오차보다 지수적으로 열악한 오차를 달성할 수 없다.
• 정보이론적으로 최적의 오차와 SQ 알고리즘이 달성할 수 있는 최고의 오차 사이의 간극은 지수적이다.
• 이는 최적 오차를 다항인자 내에서 근사하는 것도 SQ 모델 하에서는 계산적으로 불가능하다는 것을 의미한다.
• 정확한 학습(OPT+ε를 달성함)이 SQ 모델에서 불가능하다는 것을 보여주는 것으로, 오랫동안 열려있던 문제를 해결한다.
• 노이즈 비율 η가 1/2에서 멀리 떨어져 있을 때조차 이 하한이 유지되므로, 효율적 학습에 대한 본질적인 장벽이 있음을 나타낸다.