[논문 리뷰] Non-Convex SGD Learns Halfspaces with Adversarial Label Noise

Ilias Diakonikolas, Vasilis Kontonis외 2명|arXiv (Cornell University)|2020. 06. 11.

Machine Learning and Algorithms참고 문헌 15인용 수 4

한 줄 요약

이 논문은 비볼록 로지스틱 손실 서로서가 잘 조건화된 분포(예: 로그-볼록 또는 서브-가우시안)를 가진 경우, 적대적 레이블 노이즈 하에서 비볼록 SGD가 동차 하프스페이스를 효율적으로 학습할 수 있음을 보여준다. 비볼록 SGD는 $O(\mathrm{opt}) + \epsilon$의 오류를 달성하는 반면, 볼록 서로서는 조건이 아무리 좋더라도 오류 $\omega(\mathrm{opt})$를 피할 수 없다. 이는 가우시안 조건부 분포 하에서도 마찬가지이다.

ABSTRACT

We study the problem of agnostically learning homogeneous halfspaces in the distribution-specific PAC model. For a broad family of structured distributions, including log-concave distributions, we show that non-convex SGD efficiently converges to a solution with misclassification error $O(\opt)+\eps$, where $\opt$ is the misclassification error of the best-fitting halfspace. In sharp contrast, we show that optimizing any convex surrogate inherently leads to misclassification error of $ω(\opt)$, even under Gaussian marginals.

연구 동기 및 목표

• 근사 최적 오류 보장을 갖는 적대적 레이블 노이즈 하에서 동차 하프스페이스를 학습하는 단순하고 실용적인 알고리즘을 설계하는 것.
• 부드러운 0-1 손실 서로서에 대한 SGD를 통한 비볼록 최적화가 잘 조건화된 분포 하에서 $O(\mathrm{opt}) + \epsilon$ 오류를 달성할 수 있음을 보여주는 것.
• 볼록 서로서가 가우시안 조건부 분포 하에서도 $O(\mathrm{opt}) + \epsilon$ 오류를 달성하지 못함을 보여주는 것.
• 등방성 로그-볼록, 서브-가우시안, 그리고 꼬리가 두꺼운 분포 하에서 비볼록 로지스틱 손실의 정류점이 근사 최적의 하프스페이스에 해당함을 입증하는 것.

제안 방법

• 이 방법은 비볼록 서로서 손실 $\mathcal{L}_{\sigma}(\mathbf{w}) = \mathbb{E}_{(\mathbf{x},y)\sim\mathcal{D}}[S_\sigma(-y\langle\mathbf{w},\mathbf{x}\rangle)]$을 사용하며, 여기서 $S_\sigma(t) = 1/(1 + e^{-t/\sigma})$는 로지스틱 함수이다.
• 스케일 불변성과 안정성을 확보하기 위해 최적화는 단위 구면 $\|\mathbf{w}\|_2 = 1$ 상에서 수행된다.
• 분석은 기하학적 농도 성질에 기반한다: 주어진 가족의 임의의 분포에 대해 $\|\mathbf{x}\|_2 \geq Z$ 영역의 확률 질량은 $\mathrm{opt}$ 이하로 제한되며, $Z$는 尾행동에 따라 선택된다.
• 모든 하프스페이스 중에서 최적 가중 벡터 $\mathbf{w}^*$와 각도 $\theta(\mathbf{w}, \mathbf{w}^*) \leq \theta$를 이루는 경우, 볼록 서로서의 최소화점이 될 수 없음을 보여주기 위해 비제로 기울기를 가짐을 증명한다.
• 반대 농도성과 반경 대칭성을 사용하여, 적대적 레이블 뒤집힘 조건 하에서도 최적 하프스페이스 근처에서 기울기가 사라지지 않음을 보여준다.
• 핵심 통찰은 비볼록 손실이 볼록 서로서와 달리 최적 해 근처에 잡음 정류점이 생기지 않음을 보여준다.

실험 결과

연구 질문

• RQ1 부드러운 0-1 손실 서로서에 대한 비볼록 SGD는 적대적 레이블 노이즈 하에서 최적 오류에 가까운 오류로 동차 하프스페이스를 학습할 수 있는가?
• RQ2 왜 볼록 서로서는 가우시안 조건부 분포 하에서도 $O(\mathrm{opt}) + \epsilon$ 오류를 달성하지 못하는가?
• RQ3 어떤 분포 가정 조건이 비볼록 로지스틱 손실의 정류점이 근사 최적임을 보장하는가?
• RQ4 분포의 기하학적 특성(예: 로그-볼록, 꼬리가 두꺼운 등)은 서로서 손실의 잡음 정류점 존재에 어떤 영향을 미치는가?
• RQ5 로지스틱 손실 하에서 단일 단계 최적화 방법인 SGD는 복잡한 다단계 알고리즘에 비해 악성 하프스페이스 학습 설정에서 오류 보장을 동일하게 달성할 수 있는가?

주요 결과

• 등방성 로그-볼록 분포 하에서 비볼록 SGD는 동차 하프스페이스에 대해 $O(\mathrm{opt}) + \epsilon$의 오류를 달성한다.
• 가우시안 조건부 분포 하에서는 어떤 볼록 서라도 오류가 $\omega(\mathrm{opt})$가 되므로, $O(\mathrm{opt}) + \epsilon$ 오류를 달성할 수 없다.
• 등방성 로그-볼록 분포 하에서는 표본 수와 실행 시간 복잡도가 다항식 수준이 되며 오류 bound는 $O(\mathrm{opt}) + \epsilon$이다.
• 꼬리 지수 $s > 2$인 꼬리가 두꺼운 분포 하에서는 오류 bound가 $O(\mathrm{opt}^{1-1/s}) + \epsilon$이며, $\mathrm{opt}$가 작을 경우 여전히 근사 최적이다.
• 최적 하프스페이스의 $\theta$-근접 영역($\theta = \Omega(\mathrm{opt}^{1-1/s})$)에서 볼록 서로서의 기울기가 0이 되지 않음을 증명하여, 이러한 점들이 최소화점이 될 수 없음을 보여준다.
• 분석 결과 비볼록 손실이 최적 해 근처의 잡음 정류점을 피함을 보여주어, SGD가 근사 최적 해로 수렴할 수 있음을 입증한다.