[논문 리뷰] But How Does It Work in Theory? Linear SVM with Random Features

Yitong Sun, Anna C. Gilbert외 1명|arXiv (Cornell University)|2018. 09. 12.

Face and Expression Recognition인용 수 35

한 줄 요약

이 논문은 저소음 조건 하에서 최적화된 특징 매핑을 사용하는 랜덤 특징 서포트 벡터 머신(RFSVM)에 대해 이론적으로 빠른 학습 속도를 처음으로 확립한다. RFSVM이 커널 스펙트럼의 다항식 감쇠 조건에서 $\tilde{O}(m^{2/(2+c_2)})$개의 특징만으로도 $O(1/\sqrt{m})$보다 빠른 수렴 속도—구체적으로 $\tilde{O}(m^{-c_2/(1+c_2)})$—를 달성할 수 있음을 증명하며, 지수 감쇠보다 빠른 감쇠 조건에서는 $\tilde{O}(\ln^d m)$개의 특징으로도 충분함을 보여, 이론적 효율성을 입증한다.

ABSTRACT

We prove that, under low noise assumptions, the support vector machine with $N\ll m$ random features (RFSVM) can achieve the learning rate faster than $O(1/\sqrt{m})$ on a training set with $m$ samples when an optimized feature map is used. Our work extends the previous fast rate analysis of random features method from least square loss to 0-1 loss. We also show that the reweighted feature selection method, which approximates the optimized feature map, helps improve the performance of RFSVM in experiments on a synthetic data set.

연구 동기 및 목표

• RFSVM의 일반화 성능, 특히 학습 속도에 대한 이론적 이해의 격차를 메우기 위해, 이는 이전에 $O(1/\sqrt{m})$로만 상한이 설정되어 있었다.
• 분류 문제에서 최소 제곱법에서 0-1 손실으로의 빠른 수렴 분석을 확장하며, 특히 저소음 조건 하에서 수행한다.
• 최적화된 특징 매핑을 사용할 경우, 표본 수에 비해 훨씬 적은 수의 특징으로도 수렴 속도가 빠르게 달성됨을 보여 이론적으로 RFSVM의 계산적 이점을 입증한다.
• 균일한 샘플링보다 재가중 특징 선택이 더 나은 성능을 내는 것을 이론적으로 뒷받침한다.

제안 방법

• 0-1 손실의 서브스티튜트를 사용하는 정규화된 경험 위험 최소화 프레임워크 내에서 이론적 분석을 수행한다.
• 커널 함수의 근사 오차를 최소화하는 최적화된 특징 매핑(가정 2)을 가정한다.
• Massart의 저소음 조건과 커널 고유값의 다항식 감쇠($\lambda_i = O(i^{-c_2})$)를 활용하여 빠른 학습 속도를 유도한다.
• 집중 불등식과 랜덤 특징의 리지드 스코어에 대한 경계를 사용하여 초과 위험을 제어한다.
• 실제 적용에서 일반화 성능을 향상시키기 위해 최적화된 특징 매핑을 근사하기 위한 재가중 특징 선택 방법을 제안한다.
• 커버링 수, 라데마처 복잡도, 스펙트럼 감쇠 가정의 조합을 사용하여 이론적 경계를 유도한다.

실험 결과

연구 질문

• RQ1 저소음 조건 하에서 RFSVM은 $O(1/\sqrt{m})$보다 빠른 학습 속도를 달성할 수 있는가?
• RQ2 최적화된 특징 매핑을 사용할 경우, RFSVM이 빠른 수렴 속도를 달성하기 위해 필요한 최소 특징 수는 얼마인가?
• RQ3 커널 연산자의 스펙트럼 감쇠가 RFSVM의 일반화 오차에 어떤 영향을 미치는가?
• RQ4 재가중 특징 선택은 균일 샘플링보다 RFSVM의 성능을 향상시킬 수 있는가?
• RQ5 베이즈 분류기가 RKHS에 속하지 않을 경우에도 이론적 빠른 수렴 속도가 유지되는가?

주요 결과

• Massart의 저소음 조건과 다항식 스펙트럼 감쇠 $\lambda_i = O(i^{-c_2})$ 하에서, 최적화된 특징을 사용하는 RFSVM은 $\tilde{O}(m^{-c_2/(1+c_2)})$의 학습 속도를 $\tilde{O}(m^{2/(2+c_2)})$개의 특징으로 달성한다.
• 지수 감쇠보다 빠른 감쇠 조건에서는 학습 속도가 $\tilde{O}(1/m)$으로 향상되며, 단지 $\tilde{O}(\ln^d m)$개의 특징으로도 충분하다.
• 베이즈 분류기가 분리 조건(클래스 간 거리가 양수)을 만족할 경우, 최적화된 특징을 사용하는 RFSVM은 $\tilde{O}(1/m)$의 속도를 $\tilde{O}(\ln^{2d} m)$개의 특징으로 달성한다.
• 이론적 분석은 훈련 이전에 특징을 재가중하는 것이 성능 향상에 기여함을 시사하며, 이는 시뮬레이션 데이터에서 실험적으로 검증되었다.
• 최적화된 특징이 없을 경우, 달성 가능한 최고의 속도는 $O(m^{-1/3})$이며, 이는 $\tilde{O}(m^{2/3})$개의 특징으로 달성되며, 이는 빠른 수렴 영역과의 격차를 보여준다.
• 결과는 RFSVM이 실질적으로 특징 재가중과 함께 사용될 경우 계산 효율성이 높다는 것을 이론적으로 입증한다.