[논문 리뷰] A Polynomial Time Algorithm for Learning Halfspaces with Tsybakov Noise

Ilias Diakonikolas, Daniel M. Kane외 3명|arXiv (Cornell University)|2020. 10. 04.

Machine Learning and Algorithms참고 문헌 55인용 수 9

한 줄 요약

이 논문은 Tsybakov 노이즈 모델 하에서 동차 반공간을 학습하는 데 있어 처음으로 다항시간 알고리즘을 제안한다. 이는 레이블 뒤집힘 확률이 1/2에 가까워질 수 있는 도전적인 노이즈 설정이다. 새로운 다항시간 증명 알고리즘을 도입하고 승자-승자 반복 프로세스를 활용하여, 로그-볼록 분포와 같은 잘 조건화된 분포 하에서 효율적인 학습을 달성함으로써, 계산 학습 이론 분야에서 오랫동안 남아있던 열린 문제를 해결한다.

ABSTRACT

We study the problem of PAC learning homogeneous halfspaces in the presence of Tsybakov noise. In the Tsybakov noise model, the label of every sample is independently flipped with an adversarially controlled probability that can be arbitrarily close to $1/2$ for a fraction of the samples. {\em We give the first polynomial-time algorithm for this fundamental learning problem.} Our algorithm learns the true halfspace within any desired accuracy $ε$ and succeeds under a broad family of well-behaved distributions including log-concave distributions. Prior to our work, the only previous algorithm for this problem required quasi-polynomial runtime in $1/ε$. Our algorithm employs a recently developed reduction \cite{DKTZ20b} from learning to certifying the non-optimality of a candidate halfspace. This prior work developed a quasi-polynomial time certificate algorithm based on polynomial regression. {\em The main technical contribution of the current paper is the first polynomial-time certificate algorithm.} Starting from a non-trivial warm-start, our algorithm performs a novel "win-win" iterative process which, at each step, either finds a valid certificate or improves the angle between the current halfspace and the true one. Our warm-start algorithm for isotropic log-concave distributions involves a number of analytic tools that may be of broader interest. These include a new efficient method for reweighting the distribution in order to recenter it and a novel characterization of the spectrum of the degree-$2$ Chow parameters.

연구 동기 및 목표

• Tsybakov 노이즈 모델 하에서 동차 반공간을 학습하기 위한 다항시간 알고리즘을 개발한다. 이 모델은 일부 예제에 대해 최대 1/2까지 적대적으로 제어되는 레이블 노이즈를 허용한다.
• 정확도 파라미터 ε에 대해 이전에 알려진 준다항시간 런타임의 제한을 극복하여 실용적 구현을 가능하게 한다.
• 후보 반공간의 최적성 부재를 증명하는 문제로의 감소를 통해 반공간 학습을 위한 새로운 프레임워크를 수립한다.
• 효율적인 수렴을 가능하게 하는 다항시간 증명 알고리즘을 설계하여, 무거운 Tsybakov 노이즈 조건 하에서도 유의미한 성능을 달성한다.
• 등방성 로그-볼록 분포 및 잘 조건화된 분포를 포함한 더 넓은 분포 가족으로 학습 알고리즘의 적용 범위를 확장한다.

제안 방법

• 학습 문제를 후보 반공간의 최적성 부재를 증명하는 문제로 감소시키는 방식을 사용하며, 이는 이전에 준다항시간 증명 알고리즘을 제공한 연구를 기반으로 한다.
• 승자-승자 반복 프로세스를 수행하는 새로운 다항시간 증명 알고리즘을 도입한다: 또는 유효한 증명을 생성하거나 현재 가중 벡터와 진짜 가중 벡터 간의 각도 거리를 향상시킨다.
• 등방성 로그-볼록 분포를 위해 특화된 온난 스타트 절차를 사용하며, 분포를 재중심화하기 위한 새로운 효율적인 재가중 기법을 도입한다.
• 차수 2의 Chow 파라미터 스펙트럼에 대한 새로운 특성화를 활용하여 안정적이고 효율적인 최적화를 가능하게 한다.
• 적응형 학습률을 사용하는 확률적 경사 하강법을 반복적으로 적용하여 가중 벡터를 정밀하게 개선하며, 손실 분석을 통해 수렴을 보장한다.
• 현재 가설이 최적에서 멀리 떨어져 있는지를 확인하는 증명 오라클을 통합하며, 유효한 증명이 발견되면 조기에 종료한다.

실험 결과

연구 질문

• RQ1 레이블 뒤집힘 확률이 1/2에 가까워질 수 있는 Tsybakov 노이즈 모델 하에서 반공간을 학습하기 위한 다항시간 알고리즘을 설계할 수 있는가?
• RQ2 Tsybakov 노이즈가 존재하는 상황에서 로그-볼록 분포와 같은 잘 조건화된 분포 하에서 효율적인 학습이 가능한가?
• RQ3 Tsybakov 노이즈 하에서 반공간을 학습하기 위해 필요한 최소 런타임 복잡도는 무엇이며, 이는 준다항시간에서 다항시간으로 감소시킬 수 있는가?
• RQ4 승자-승자 반복 프레임워크에서 학습 과정을 이끄는 데 효과적으로 사용할 수 있는 최적성 부재의 증명을 어떻게 효율적으로 계산할 수 있는가?
• RQ5 재가중 및 Chow 파라미터의 스펙트럼 분석과 같은 분석 도구를 활용하여 노이즈가 존재하는 환경에서 안정적이고 효율적인 학습 알고리즘을 설계할 수 있는가?

주요 결과

• 논문은 Tsybakov 노이즈 모델 하에서 동차 반공간을 학습하는 데 있어 처음으로 다항시간 알고리즘을 제시하며, 계산 학습 이론 분야에서 오랫동안 남아있던 열린 문제를 해결한다.
• 모든 잘 조건화된 분포, 로그-볼록 분포를 포함하여, 높은 확률로 오차율이 ε 이하가 되도록 보장한다.
• 차원 d와 1/ε에 대해 다항시간 런타임을 확보하며, 이는 이전에 알려진 1/ε에 대한 준다항시간 런타임에 비해 크게 향상된 성능이다.
• 이 방법은 최적성 부재를 증명하는 데 있어 새로운 다항시간 증명 알고리즘을 도입하여, 증명을 생성하거나 진짜 반공간으로의 각도 거리를 향상시킴으로써 효율적인 수렴을 가능하게 한다.
• 로그-볼록 분포의 경우, 각도 오차 θ(ŵ, w*)가 O(ε / log²(1/ε)) 이하로 제한되며, 이는 분포 특화 오차 경계에 따라 0-1 오차가 O(ε)가 된다는 의미이다.
• 분석은 차수 2의 Chow 파라미터 스펙트럼에 대한 새로운 특성화와 분포 재중심화를 위한 효율적인 재가중 기법에 기반하며, 이는 독립적으로도 관심 있는 결과이다.