[논문 리뷰] Learning Halfspaces with Tsybakov Noise

Ilias Diakonikolas, Vasilis Kontonis외 2명|arXiv (Cornell University)|2020. 06. 11.

Machine Learning and Algorithms인용 수 7

한 줄 요약

이 논문은 Tsybakov 노이즈 모델 하에서 반공간에 대한 첫 번째 효율적인 PAC 학습 알고리즘을 제안하며, 오차 $\tilde{O}(d^{O(1/\mathrm{poly}(\alpha))})$의 런타임을 달성한다. 이는 새로운 반정적계획법 기반의 증명 절차와 온라인 볼록 최적화를 사용하여 달성된다. 이는 구조적 분포, 특히 로그-볼록 측도를 포함하여 준다항식 시간 내 학습 가능성을 확립하며, 이는 이전의 이중 지수적 상한보다 크게 향상된 결과이다.

ABSTRACT

We study the efficient PAC learnability of halfspaces in the presence of Tsybakov noise. In the Tsybakov noise model, each label is independently flipped with some probability which is controlled by an adversary. This noise model significantly generalizes the Massart noise model, by allowing the flipping probabilities to be arbitrarily close to $1/2$ for a fraction of the samples. Our main result is the first non-trivial PAC learning algorithm for this problem under a broad family of structured distributions -- satisfying certain concentration and (anti-)anti-concentration properties -- including log-concave distributions. Specifically, we given an algorithm that achieves misclassification error $ε$ with respect to the true halfspace, with quasi-polynomial runtime dependence in $1/\epsilin$. The only previous upper bound for this problem -- even for the special case of log-concave distributions -- was doubly exponential in $1/ε$ (and follows via the naive reduction to agnostic learning). Our approach relies on a novel computationally efficient procedure to certify whether a candidate solution is near-optimal, based on semi-definite programming. We use this certificate procedure as a black-box and turn it into an efficient learning algorithm by searching over the space of halfspaces via online convex optimization.

연구 동기 및 목표

• Tsybakov 노이즈 모델 하에서 반공간의 계산적으로 효율적인 PAC 학습 문제를 해결하는 것. 이는 Massart 노이즈를 일반화하며, 높은 노이즈 비율을 허용한다.
• 이전의 $1/\epsilon$에 대한 이중 지수적 상한보다 훨씬 우수한 런타임 의존도를 갖는 학습 알고리즘을 개발하는 것.
• 로그-볼록 및 등방성 분포를 포함한 광범위한 구조적 분포 클래스에서의 학습 가능성을 확립하는 것. 이는 농도 및 반농도 성질을 만족한다.
• 후보 반공간의 near-최적성 여부를 검증하는 계산적으로 효율적인 증명 절차를 설계하는 것. 이를 통해 온라인 볼록 최적화를 통한 탐색이 가능해진다.

제안 방법

• 진짜 반공간에 대해 후보 가중 벡터가 near-최적임을 판단하기 위한 새로운 반정적계획법(SDP)-기반 증명 절차를 제안한다.
• SDP 증명 절차를 온라인 볼록 최적화 프레임워크 내의 블랙박스 오라클로 사용하여 반공간의 공간을 탐색한다.
• 증명 출력에서 유도된 대체 손실 함수 $\hat{\ell}_t(\mathbf{w})$ 를 사용하여 최적화 과정을 이동시킨다.
• 수렴을 보장하기 위해 신중하게 설계된 파rameter 스케줄링과 표본 복잡도 분석을 적용하여 오차 $\epsilon$를 갖는 가설에 수렴한다.
• 기저 분포의 농도 및 반농도 성질에 의존하여, 오차를 각도 거리 $\theta(\mathbf{w}^{(t)}, \mathbf{w}^*)$ 로 제한한다.
• T단계에 대한 유니온 바운드와 尾確率 바운드를 사용하여 손실 함수의 경험적 추정치의 고확률 정확성을 보장한다.

실험 결과

연구 질문

• RQ1 Tsybakov 노이즈 모델 하에서 반공간을 효율적으로 PAC-학습할 수 있는가? 이 모델은 노이즈 비율이 1/2에 매우 가까운 적대적 선택을 허용한다.
• RQ2 이 문제에 대해 $1/\epsilon$에 대한 이중 지수적 상한을 초월하여, 런타임 의존도를 이중 지수 이하로 낮출 수 있는가? 특히 일반화된 학습으로의 난이한 감소를 초월하여.
• RQ3 Tsybakov 노이즈가 존재하는 상황에서 후보 해의 near-최적성 여부를 검증할 수 있는 계산적으로 효율적인 증명 절차를 설계할 수 있는가?
• RQ4 제안된 알고리즘이 로그-볼록 측도와 같은 구조적 분포에 대해 $1/\epsilon$에 대한 준다항식 런타임 의존도를 달성하는가?

주요 결과

• 논문은 Tsybakov 노이즈 하에서 반공간을 학습할 때 $d^{O(1/\alpha^2)}$ 의 준다항식 런타임 의존도를 달성한다. 이는 이전의 이중 지수적 상한에 비해 상당한 향상이다.
• 이 알고리즘은 로그-볼록 및 등방성 분포를 포함한 광범위한 구조적 분포 클래스에 대해 이 문제에 대해 비로소 비트리비얼한 런타임 보장을 제공하는 첫 번째 알고리즘이다.
• 핵심 기술 기여는 후보 해의 near-최적성 여부를 효율적으로 검증할 수 있도록 해주는 새로운 SDP 기반 증명 절차이다.
• 표본 복잡도 $d^{O(k)}\log(1/\delta)$ 를 사용하여 높은 확률로 오차 $\epsilon$ 를 달성한다. 여기서 $k = \Theta(1/\alpha^2 \log(1/\epsilon))$ 이며, 이는 준다항식 표본 복잡도를 의미한다.
• $(L,R,U,B,\beta)$-유계 분포에 대해서는 표본 복잡도 $d^{O(1/\alpha^2)}\log(1/\delta)$ 를 달성하여 이전의 상한을 향상시킨다.
• 분석을 통해 온라인 볼록 최적화 프레임워크와 SDP 증명 절차의 조합이 일정한 손실을 유도하며, 이는 진짜 가중 벡터와의 각도 거리 $\epsilon$ 이내의 가설로의 수렴을 보장한다.