[논문 리뷰] Random Projections for Support Vector Machines

Saurabh Paul, Christos Boutsidis외 2명|arXiv (Cornell University)|2012. 11. 26.

Face and Expression Recognition참고 문헌 22인용 수 56

한 줄 요약

이 논문은 선형 서포트 벡터 머신(SVMs)의 차원을 줄이기 위해, 특성 공간에서 마진과 최소 봉투 구를 ɛ 상대 오차 내에서 유지하는 무관(random projection) 기법을 제안한다. 이 방법은 사전 계산되며, 높은 확률로 원래의 고차원 공간과 비교하여 일반화 성능을 유사하게 유지한다.

ABSTRACT

Let X be a data matrix of rank ρ, representing n points in d-dimensional space. The linear support vector machine constructs a hyperplane separator that maximizes the 1-norm soft margin. We develop a new oblivious dimension reduction technique which is precomputed and can be applied to any input matrix X. We prove that, with high probability, the margin and minimum enclosing ball in the feature space are preserved to within ɛ-relative error, ensuring comparable generalization as in the original space. We present extensive experiments with real and synthetic data to support our theory. 1

연구 동기 및 목표

• 고차원 공간에서 SVM의 마진과 일반화 성능을 유지하는 차원 축소 기법을 개발하는 것.
• 감소된 차원 표현이 사용자가 정의한 ɛ 상대 오차 내에서 1-노름 소프트 마진과 최소 봉투 구 성질을 유지하도록 보장하는 것.
• 특정 데이터 분포에 적응할 필요 없이 어떤 입력 데이터 행렬에도 적용 가능한 사전 계산된 무관 투영 방법을 제공하는 것.
• 사영된 공간에서의 일반화 성능이 원래 공간과 유사함을 이론적으로 보장하는 것.

제안 방법

• 이 방법은 입력 데이터 행렬 X에 종속되지 않은 사전 계산된 무관 무작위 투영 행렬을 사용한다.
• 데이터 행렬 X를 질량 ρ로 사전 계산된 무작위 투영을 통해 낮은 차원 공간으로 투영하며, 이 과정에서 1-노름 소프트 마진과 최소 봉투 구의 구조를 유지한다.
• 이론적 분석에 따르면, 높은 확률로 사영된 공간에서의 마진과 최소 봉투 구가 원래 공간의 ɛ 상대 오차 내에 유지된다.
• SVM 성능에 핵심적인 기하학적 성질, 즉 분리 마진과 최적 초평면 주변의 데이터 분포를 유지하도록 투영이 설계된다.
• 반복 계산이나 데이터에 의존하는 튜닝이 필요 없어 효율적이고 확장 가능하다.
• 무관성 덕분에 어떤 입력 행렬 X이든 그 분포나 구조에 관계없이 적용 가능하다.

실험 결과

연구 질문

• RQ1 무작위 투영이 사영된 공간에서 1-노름 소프트 마진을 제어 가능한 ɛ 상대 오차 내에서 유지할 수 있는가?
• RQ2 무관 무작위 투영이 SVM의 일반화에 핵심적인 특성 공간의 최소 봉투 구를 유지하는가?
• RQ3 원래 공간에서의 일반화 성능가 비슷한 수준을 유지하면서 얼마나 많은 차원 축소가 가능한가?
• RQ4 제안된 방법이 데이터에 특화된 튜닝이나 적응 없이 어떤 데이터 행렬에도 일반적으로 적용 가능한가?

주요 결과

• 제안된 무작위 투영은 높은 확률로 특성 공간에서 마진과 최소 봉투 구를 ɛ 상대 오차 내에서 유지한다.
• 사영된 공간에서의 SVM 일반화 성능은 원래의 고차원 공간과 유사하다.
• 무관성 덕분에 어떤 입력 데이터 행렬 X에도 일반적으로 적용 가능하며, 데이터에 의존하는 계산이 필요 없다.
• 실제 및 시뮬레이션 데이터를 대상으로 한 광범위한 실험을 통해 이론적 보장을 검증하고, 실용적 효과성을 입증한다.
• SVM 성능을 유지하면서도 상당한 차원 축소를 가능하게 하여 대규모 데이터 세트에 대한 확장성을 지원한다.