[논문 리뷰] Tractability from overparametrization: The example of the negative perceptron

Andrea Montanari, Yiqiao Zhong외 1명|arXiv (Cornell University)|2021. 10. 28.

Sparse and Compressive Sensing Techniques참고 문헌 64인용 수 6

한 줄 요약

이 논문은 데이터가 선형적으로 분리되지 않을 때, 과다매개변수화된 설정에서 가장 큰 음의 마진을 가진 선형 분류기를 찾는 음의 퍼셉트론 문제를 연구한다. 랜덤 행렬 이론과 점근적 분석을 사용하여 이러한 분류기가 존재할 수 있는 날카운 임계점들을 도출하고, 통계적 임계점(해가 존재하는 조건)과 선형 프로그래밍 임계점(해를 효율적으로 찾을 수 있는 조건) 사이의 격차를 보여주며, 과다매개변수화된 학습에서의 근본적인 해법의 어려움을 드러낸다.

ABSTRACT

In the negative perceptron problem we are given $n$ data points $({\boldsymbol x}_i,y_i)$, where ${\boldsymbol x}_i$ is a $d$-dimensional vector and $y_i\in\{+1,-1\}$ is a binary label. The data are not linearly separable and hence we content ourselves to find a linear classifier with the largest possible \emph{negative} margin. In other words, we want to find a unit norm vector ${\boldsymbol θ}$ that maximizes $\min_{i\le n}y_i\langle {\boldsymbol θ},{\boldsymbol x}_i angle$. This is a non-convex optimization problem (it is equivalent to finding a maximum norm vector in a polytope), and we study its typical properties under two random models for the data. We consider the proportional asymptotics in which $n,d o \infty$ with $n/d oδ$, and prove upper and lower bounds on the maximum margin $κ_{ ext{s}}(δ)$ or -- equivalently -- on its inverse function $δ_{ ext{s}}(κ)$. In other words, $δ_{ ext{s}}(κ)$ is the overparametrization threshold: for $n/d\le δ_{ ext{s}}(κ)-\varepsilon$ a classifier achieving vanishing training error exists with high probability, while for $n/d\ge δ_{ ext{s}}(κ)+\varepsilon$ it does not. Our bounds on $δ_{ ext{s}}(κ)$ match to the leading order as $κ o -\infty$. We then analyze a linear programming algorithm to find a solution, and characterize the corresponding threshold $δ_{ ext{lin}}(κ)$. We observe a gap between the interpolation threshold $δ_{ ext{s}}(κ)$ and the linear programming threshold $δ_{ ext{lin}}(κ)$, raising the question of the behavior of other algorithms.

연구 동기 및 목표

• 비선형적으로 분리되지 않은 데이터에서 과다매개변수화된 선형 모델을 사용해 큰 음의 마진을 달성할 수 있는 통계적 가능성을 조사한다.
• 해가 마진 −κ를 가질 확률이 높아지는 과다매개변수화 임계점 δ_s(κ)를 특성화한다.
• 선형 프로그래밍 알고리즘의 성능을 분석하여 이러한 해를 찾는 데 있어 별개의 임계점 δ_lin(κ)을 규명한다.
• 과다매개변수화된 학습에서 통계적 가능성과 알고리즘의 실현 가능성 사이의 격차를 탐구한다.
• 과다매개변수화된 모델에서 발생하는 비볼록, 고차원 문제를 해결하는 데 있어 최적화 알고리즘(예: 경사하강법)의 역할을 이해한다.

제안 방법

• n, d → ∞ 이며 n/d → δ 라는 비율 점근적 접근을 사용하여 음의 퍼셉트론의 일반적인 행동을 연구한다.
• 랜덤 다면체 기하학과 가우시안 과정 비교 도구(예: 고든의 보조정리)를 적용하여 해 공간의 구조를 분석한다.
• 집중 불등식과 尾확률 추정을 통해 통계 임계점 δ_s(κ)의 상한 및 하한을 유도한다.
• 음의 퍼셉트론의 선형 프로그래밍 허용 문제를 수립하고 점근적 분석을 통해 그 임계점 δ_lin(κ)을 유도한다.
• 조절 파rameter를 피하는 Differentiable 손실 함수를 설계하고, 그에 대한 경사하강법의 수렴성을 분석하며, 큰 노름 한계에서 기울기가 0이 되는 것을 증명한다.
• 헤시안 분석과 부드러움 한계를 사용하여 적절한 스텝 크기 조건 하에서 경사하강법의 수렴 보장을 확립한다.

실험 결과

연구 질문

• RQ1 마진 −κ를 가진 선형 분류기가 고도로 확률적으로 존재할 수 있는 과다매개변수화의 날카운 임계점 δ_s(κ)는 무엇인가?
• RQ2 선형 프로그래밍에 대한 알고리즘 임계점 δ_lin(κ)과 통계 임계점 δ_s(κ) 사이의 비교는 어떻게 되는가?
• RQ3 경사하강법은 과다매개변수화된 영역에서 훈련 오차가 점점 줄어드는 해에 수렴하는가?
• RQ4 레이블이 선형 신호와 관련이 있을 경우, 점근적 추정 오차는 어떻게 되는가?
• RQ5 고차원 극한에서 κ → −∞ 일 때, 해 공간 기하학은 어떻게 변화하는가?

주요 결과

• 통계 임계점 δ_s(κ)와 선형 프로그래밍 임계점 δ_lin(κ) 사이에 격차가 존재하며, 이는 δ_s(κ)를 초과하면 해가 존재하지만, LP로는 효율적으로 찾을 수 없음을 시사한다.
• κ → −∞ 일 때, δ_s(κ)의 상한과 하한이 주요 항에서 일치하여 단단한 전이의 날카움을 확인한다.
• 순수한 노이즈 모델에서, n/d ≤ δ_s(κ) − ε 이면 κ-마진 분류기가 고도로 확률적으로 존재하고, n/d ≥ δ_s(κ) + ε 이면 존재하지 않는다.
• 선형 프로그래밍 알고리즘의 경우, δ_lin(κ)는 δ_s(κ)보다 엄밀히 크며, 존재 가능성과 효율적 계산 가능성 사이의 근본적인 격차를 시사한다.
• 경사하강법은 큰 노름 한계에서 기울기가 0인 임계점을 수렴하며 발산하지 않으며, 이는 과다매개변수화된 설정에서의 효과성을 뒷받침한다.
• 선형 신호 모델에서 점근적 추정 오차는 특성화되며, 신호 대 잡음 비율이 증가함에 따라 감소함을 보이며, 가우시안 과정 비교를 통해 명시적 한계가 유도된다.