[논문 리뷰] On the proliferation of support vectors in high dimensions

Daniel Hsu, Vidya Muthukumar외 1명|arXiv (Cornell University)|2020. 09. 22.

Face and Expression Recognition참고 문헌 38인용 수 5

한 줄 요약

이 논문은 고차원 선형 분류에서 서포트 벡터 확산에 대한 결정론적 조건을 수립하며, 효과적 오버파rameterization이 공분산 행렬의 효과적 질량에 관련된 임계값을 초과할 경우, 모든 훈련 예제가 높은 확률로 서포트 벡터가 된다고 보여준다. 또한 거의 매칭되는 역방향도 증명하여, 충분한 오버파rameterization이 없을 경우, 상수 확률로 적어도 하나의 예제가 서포트 벡터가 되지 않음을 보여준다.

ABSTRACT

The support vector machine (SVM) is a well-established classification method whose name refers to the particular training examples, called support vectors, that determine the maximum margin separating hyperplane. The SVM classifier is known to enjoy good generalization properties when the number of support vectors is small compared to the number of training examples. However, recent research has shown that in sufficiently high-dimensional linear classification problems, the SVM can generalize well despite a proliferation of support vectors where all training examples are support vectors. In this paper, we identify new deterministic equivalences for this phenomenon of support vector proliferation, and use them to (1) substantially broaden the conditions under which the phenomenon occurs in high-dimensional settings, and (2) prove a nearly matching converse result.

연구 동기 및 목표

• 모든 훈련 예제가 고차원 선형 분류에서 서포트 벡터가 되는 결정론적 조건을 규명하는 것.
• 이전의 서포트 벡터 확산 결과를 특정 엔sembles를 넘어서서 서브-가우시안 및 하르 디자인과 같은 더 넓은 클래스로 확장하는 것.
• 충분한 오버파라미터화가 없을 경우, 모든 예제가 서포트 벡터가 될 수 없음을 보여주는 거의 정확한 역방향을 확립하는 것.
• 무작위 행렬 이론의 도구를 사용하여 효과적 오버파라미터화와 서포트 벡터 확산 현상 간의 정확한 연결 고리를 수립하는 것.
• 伝통적 희소성 가정이 실패하는 오버파라미터화된 영역에서 SVM의 일반화에 대한 이론적 근거를 제공하는 것.

제안 방법

• 데이터의 기하학적 구조와 커널 행렬의 구조에 기반한 서포트 벡터 확산에 대한 결정론적 동치를 유도하는 것.
• 하드 마진 SVM의 이중 형식을 사용하여 어느 훈련 예제가 최소 마진을 확보하고 따라서 서포트 벡터가 되는지 분석하는 것.
• 이탈리안 설정에서 커널 행렬의 역행렬을 분석하기 위해 위샤르트 및 카이제곱 분포의 농도 및 尾부 경계를 적용하는 것.
• 가우시안 분포의 회전 대칭성을 활용하여 역 커널 행렬을 포함하는 이차형식의 분포를 단순화하는 것.
• 표준 정규 분포의 누적분포함수와 카이제곱 꼬리 경계를 사용하여 주어진 예제가 서포트 벡터가 되는 확률의 하한을 설정하는 것.
• 공분산 행렬의 효과적 질량에 대한 임계값을 도입하여, 서포트 벡터 확산이 높은 확률로 발생하는지 여부를 결정하는 것.

실험 결과

연구 질문

• RQ1 서포트 벡터 기반 분류기가 확산 현상을 보일 조건은 무엇인가? 즉, 모든 훈련 예제가 서포트 벡터가 되는가?
• RQ2 고차원 설정에서 서포트 벡터 확산 현상은 데이터 공분산 행렬의 효과적 질량에 어떻게 의존하는가?
• RQ3 충분한 오버파라미터화가 없을 경우, 모든 예제가 서포트 벡터가 될 수 없음을 보여주는 거의 매칭되는 역방향을 증명할 수 있는가?
• RQ4 결과는 등방성 또는 스피iked 공분산 모델을 넘어서 서브-가우시안 및 하르 분포 디자인으로 일반화될 수 있는가?
• RQ5 특정 특징 수, 표본 크기, 그리고 전체 서포트 벡터 확산의 확률 간의 정확한 관계는 무엇인가?

주요 결과

• 공분산 행렬의 효과적 질량이 표본 크기 대비 충분히 크면, 특히 $ d - n + 2 $ 가 충분히 크면 역 커널 행렬의 추적이 작아지므로, 서포트 벡터 확산이 높은 확률로 발생한다.
• 주어진 예제가 서포트 벡터가 되는 확률은 $ rac{1}{e} imes rac{1}{ ext{상수}} $ 이하로 하한이 설정되며, 이 하한은 카이제곱 꼬리 확률에 따라 달라진다.
• 논문은 $ d o rac{n-1}{d-n+4+2 ilde{d}} $ 라면, 주어진 예제가 서포트 벡터가 되는 확률이 0에서 멀리 떨어져 있음을 증명하여 단서 전이 현상을 보여준다.
• 거의 매칭되는 역방향이 확립되었다: 효과적 오버파라미터화가 충분하지 않다면, 상수 확률로 적어도 하나의 훈련 예제가 서포트 벡터가 되지 못한다.
• 결과는 등방성 또는 스피iked 모델 뿐 아니라 일반적인 서브-가우시안 및 하르 분포 디자인에서도 성립하므로, 이전 결과의 적용 범위를 크게 확장한다.
• 분석 결과, 현상은 차원 $ d $, 표본 크기 $ n $, 그리고 데이터의 효과적 질량 간의 상호작용에 의해 지배되며, 핵심 임계값은 $ d - n + 2 $ 임을 밝혀냈다.