[논문 리뷰] Learning Halfspaces with Massart Noise Under Structured Distributions

Ilias Diakonikolas, Vasilis Kontonis외 2명|arXiv (Cornell University)|2020. 02. 13.

Machine Learning and Algorithms참고 문헌 35인용 수 7

한 줄 요약

이 논문은 로그-볼록 분포를 포함한 광범위한 구조적 분포 위에서 마사르트 노이즈 하에서 반공간을 학습하기 위한 계산적으로 효율적인 알고리즘을 처음으로 제안한다. 비볼록 대체 손실 함수를 도입하여, 이 손실 함수의 근사 정류점이 정확한 반공간을 제공함으로써, 미세한 분포 가정 하에 다항 시간 보장을 갖는 확률적 경사 하강법(SGD)을 통한 수렴을 가능하게 한다.

ABSTRACT

We study the problem of learning halfspaces with Massart noise in the distribution-specific PAC model. We give the first computationally efficient algorithm for this problem with respect to a broad family of distributions, including log-concave distributions. This resolves an open question posed in a number of prior works. Our approach is extremely simple: We identify a smooth {\em non-convex} surrogate loss with the property that any approximate stationary point of this loss defines a halfspace that is close to the target halfspace. Given this structural result, we can use SGD to solve the underlying learning problem.

연구 동기 및 목표

• 일반적인 구조적 분포(예: 로그-볼록 분포) 하에서 마사르트 노이즈가 있는 반공간 학습을 위한 다항 시간 알고리즘 설계라는 열린 문제를 해결한다.
• 마사르트 노이즈 하에서 로그-볼록 마진 분포에 대해 다항식(d, 1/ε, 1/(1−2η)) 시간 알고리즘이 존재하는지 여부라는 오랜 동안 미해결된 질문을 해결한다.
• 데이터 분포의 반집중 및 尾部 바운드 조건을 만족할 때 작동하는 계산적으로 효율적인 해법을 제공한다.
• 비볼록 손실 함수의 근사 정류점과 진짜 반공간에의 가까움 사이의 구조적 연결 고리를 확립한다.
• 차원과 반대 정확도의 다항식 비례로 증가하는 표본 및 런타임 복잡도를 갖는 고정밀도 학습을 달성한다.

제안 방법

• 반공간 학습을 위한 0-1 손실을 근사하는 시그모이드 유형 활성화를 기반으로 한 부드러운 비볼록 대체 손실 함수 $\mathcal{L}_{\sigma}(\mathbf{w})$를 제안한다.
• 이 손실 함수의 임의의 근사 정류점이 진짜 반공간 $\mathbf{w}^*$와 작은 각도 $\theta(\mathbf{w}, \mathbf{w}^*)$를 이룰 수 있음을 증명하여 낮은 오차를 보장한다.
• 적절히 선택된 스텝 사이즈 $\beta$, 학습률 스케줄링 및 스무딩 파라미터 $\sigma$를 사용하여, 투영된 확률적 경사 하강법(PSGD)을 통해 대체 손실을 최적화한다.
• SGD 궤적에서 후보 가설 벡터의 목록 $L$을 구성하고, 소량의 분리된 샘플에서 경험적 리스크 최소화를 통해 최고의 가설을 선택한다.
• 기본 분포의 농도 및 반집중 성질을 활용하여 기울기 노름을 유계로 제한하고 좋은 해로의 수렴을 보장한다.
• 대체 손실의 리프시츠 연속성과 유계 기울기 노름을 확립하여 SGD 수렴 보장을 적용 가능하게 한다.

실험 결과

연구 질문

• RQ1 마진 분포가 로그-볼록 또는 더 일반적인 구조적 분포일 때, 마사르트 노이즈 하에서 계산적으로 효율적인 반공간 학습 알고리즘을 설계할 수 있는가?
• RQ2 비볼록 대체 손실 함수가 존재하여 그 근사 정류점이 진짜 반공간과 각도에서 가까운 반공간을 제공할 수 있는가?
• RQ3 분포 제약 조건 하에서 확률적 경사 하강법이 그러한 정류점을 효율적으로 찾을 수 있는가?
• RQ4 마사르트 노이즈 하에서 효율적 학습을 위해 필요한 최소한의 분포 가정(예: 반집중, 꼬리 바운드)은 무엇인가?
• RQ5 제안된 방법이 차원 $d$, 정확도 $\epsilon$, 노이즈 수준 $\eta$ 에 대해 다항 시간 및 표본 복잡도를 달성하는가?

주요 결과

• 제안된 알고리즘은 $O(d \cdot t^8(\epsilon/2) \cdot \log(1/\delta) / \epsilon^4)$회의 SGD 스텝을 사용하여 고확률적으로 $\epsilon$-오차를 달성한다. 여기서 $t(\cdot)$는 분포 성질을 기반으로 하는 함수이다.
• 알고리즘은 $d$, $1/\epsilon$, $1/(1-2\eta)$ 에 대해 다항식 시간 내에 실행되며, 로그-볼록 분포에 대해 그러한 알고리즘이 존재하는지 여부라는 열린 문제를 해결한다.
• 반집중 및 꼬리 바운드를 만족하는 광범위한 구조적 분포 가족에 대해 성공적으로 작동하며, 균일 또는 구형 분포를 초월한다.
• 핵심적인 구조적 통찰은 비볼록 대체 손실 $\mathcal{L}_{\sigma}(\mathbf{w})$의 임의의 근사 정류점이 진짜 반공간과 $O(\epsilon/(U t^2(\epsilon/2)))$ 이내의 각도 거리에 있음을 보여준다.
• 최종 가설은 $O(\log(T/\delta)/\epsilon^2)$개의 샘플에서 경험적 리스크 최소화를 통해 SGD 반복에서 구성된 목록 $L$에서 선택되며, 고확률적으로 낮은 초과 오차를 보장한다.
• 알고리즘의 표본 및 런타임 복잡도는 $\mathrm{poly}(d, 1/\epsilon, 1/(1-2\eta))$로 유계이며, 마사르트 노이즈 하에서 로그-볼록 마진 분포에 대해 다항 시간 해법의 존재를 확인한다.