[논문 리뷰] Support vector machines and linear regression coincide with very high-dimensional features

Navid Ardeshir, Clayton Sanford외 1명|arXiv (Cornell University)|2021. 05. 28.

Sparse and Compressive Sensing Techniques참고 문헌 43인용 수 4

한 줄 요약

이 논문은 지지 벡터 기반 회귀(SVM)와 일반 최소 제곱법(OLS)이 고차원 설정에서 지지 벡터 확산(SVP)로 인해 동일한 해에 수렴함을 규명한다. 여기서 모든 학습 예제가 지지 벡터가 된다. 독립적인 서브가우시안 특징 모델에서 SVP가 발생하기 위한 차원 $d$에 대해 초선형 하한을 증명하고, 가우시안 특징에서 $d = 2n\log n$에서 날카로운 단계 전이를 규명하며, $β_1$-SVM는 상당히 높은 차원에서만 SVP를 보일 것임을 추측하며 기하 이중성 분석에 의해 뒷받질린다.

ABSTRACT

The support vector machine (SVM) and minimum Euclidean norm least squares regression are two fundamentally different approaches to fitting linear models, but they have recently been connected in models for very high-dimensional data through a phenomenon of support vector proliferation, where every training example used to fit an SVM becomes a support vector. In this paper, we explore the generality of this phenomenon and make the following contributions. First, we prove a super-linear lower bound on the dimension (in terms of sample size) required for support vector proliferation in independent feature models, matching the upper bounds from previous works. We further identify a sharp phase transition in Gaussian feature models, bound the width of this transition, and give experimental support for its universality. Finally, we hypothesize that this phase transition occurs only in much higher-dimensional settings in the $\ell_1$ variant of the SVM, and we present a new geometric characterization of the problem that may elucidate this phenomenon for the general $\ell_p$ case.

연구 동기 및 목표

• 고차원 설정에서 SVM과 OLS 해가 일치하는 조건을 이해하는 것.
• 독립적인 서브가우시안 특징 모델에서 지지 벡터 확산(SVP)이 발생하기 위해 필요한 차원 $d$에 대한 날카로운 하한을 설정하는 것.
• 특히 가우시안 특징 모델에서 SVP와 비-SVP 영역을 분리하는 날카로운 단계 전이가 존재하는지 조사하는 것.
• $\ell_p$-SVM로의 SVP 일반화를 탐색하고, 특히 $\ell_1$의 경우를 중심으로 이중 문제의 기하 특성화를 개발하는 것.
• 다양한 특징 분포에서 SVP 현상의 보편성과 차원 의존성에 대한 이론적 및 실험적 증거를 제공하는 것.

제안 방법

• 독립적인 서브가우시안 특징 모델에서 SVP가 발생하기 위해 필요한 차원에 대해 초선형 하한 $d \gtrsim n\log n$을 증명하며, 이는 이전의 상한과 일치한다.
• 특징 벡터가 형성하는 랜덤 볼록 다면체의 기하학적 성질을 분석하여 이중 최적화 문제를 통해 SVP를 특성화한다.
• 회전 대칭성과 랜덤 행렬 이론을 활용하여 최적의 이중 해가 양의 제1사분면에 위치할 확률을 한도하여 SVP를 나타낸다.
• 등방성 가우시안 특징에서 $d = 2n\log n$에서 날카로운 단계 전이를 확립하고 전이의 폭을 정량적으로 측정한다.
• $\ell_p$-SVM 문제의 이중 문제에 대한 기하 특성화를 도입하여 $\ell_2$ 노름을 초월한 SVP 분석을 가능하게 한다.
• $\pm \mathbf{A}_{\cdot,i}$의 볼록 hull의 면 수에 대한 유니언 바운드를 활용하여 $\ell_1$-SVM에서 SVP가 발생할 확률의 상한을 도출하지만, 이는 유니언 바운드 과도한 추정으로 인해 느슨하다고 인정한다.

실험 결과

연구 질문

• RQ1 독립적인 서브가우시안 특징 모델에서 지지 벡터 확산(SVP)이 발생하기 위해 필요한 최소 차원 $d$는 얼마인가?
• RQ2 SVP 발생에 대해 날카로운 단계 전이가 존재하는가? 만약 존재한다면, 가우시안 특징에서의 임계값 $d$는 무엇인가?
• RQ3 $\ell_p$-SVM로의 SVP 현상 일반화는 어떻게 이루어지며, 특히 $\ell_1$-SVM의 경우는 상당히 높은 차원에서만 발생하는가?
• RQ4 $\ell_p$-SVM의 이중 문제에 대한 기하 특성화는 SVP가 발생하는 조건을 설명할 수 있는가?
• RQ5 SVP 단계 전이 현상은 특정 모델(예: 가우시안)에 국한되는가, 아니면 다양한 분포에 대해 보편적인가?

주요 결과

• 독립적인 서브가우시안 특징 모델에서 SVP가 발생하기 위한 초선형 하한 $d \gtrsim n\log n$이 증명되었으며, 이는 이전의 상한과 일치하며 $\log n$의 갭을 메웠다.
• 등방성 가우시안 특징에서 SVP에 대해 날카로운 단계 전이가 $d = 2n\log n$에서 발생하며, 전이의 폭이 정량적으로 한정되어 있다.
• 실험 결과는 단계 전이가 가우시안 외의 다양한 분포에 대해서도 보편적임을 시사한다.
• $\ell_1$-SVM의 경우, SVP는 $\ell_2$-SVM보다 훨씬 높은 차원에서만 발생할 것으로 추측되며, 초보적 실험 결과에 의해 뒷받질린다.
• $\ell_1$-SVM에서 SVP의 확률은 어떤 보편적 상수 $C \approx 1.29$에 대해 $d < Cn$일 때 무시할 만큼 작으며, 그러나 이 하한은 면 수의 유니언 바운드 과도한 추정으로 인해 느슨하다고 간주된다.
• 기하 이중성 프레임워크는 SVP가 이중 해가 양의 제1사분면에 위치할 때 발생하며, 이는 특징 차원이 충분히 크지 않으면 희귀한 현상임을 드러낸다.