[논문 리뷰] Scaling SVM and Least Absolute Deviations via Exact Data Reduction

Jie Wang, Peter Wonka외 1명|arXiv (Cornell University)|2013. 10. 25.

Face and Expression Recognition참고 문헌 30인용 수 59

한 줄 요약

이 논문은 서포트 벡터 머신(SVM)과 최소 절대 편차(LAD) 회귀에서 비지지벡터를 정확히 식별하고 제거하기 위해 이원 변분부등식(DVI) 걸러내기 규칙을 제안한다. 이는 변분부등식을 통한 이원 문제 분석에 기반한다. 이 방법은 최적화 이전에 데이터 인스턴스의 약 90%를 안전하게 제거함으로써 최대 100배의 속도 향상을 달성하며, 기존의 안전한 걸러내기 규칙인 SSNSV와 ESSNSV를 능가한다.

ABSTRACT

The support vector machine (SVM) is a widely used method for classification. Although many efforts have been devoted to develop efficient solvers, it remains challenging to apply SVM to large-scale problems. A nice property of SVM is that the non-support vectors have no effect on the resulting classifier. Motivated by this observation, we present fast and efficient screening rules to discard non-support vectors by analyzing the dual problem of SVM via variational inequalities (DVI). As a result, the number of data instances to be entered into the optimization can be substantially reduced. Some appealing features of our screening method are: (1) DVI is safe in the sense that the vectors discarded by DVI are guaranteed to be non-support vectors; (2) the data set needs to be scanned only once to run the screening, whose computational cost is negligible compared to that of solving the SVM problem; (3) DVI is independent of the solvers and can be integrated with any existing efficient solvers. We also show that the DVI technique can be extended to detect non-support vectors in the least absolute deviations regression (LAD). To the best of our knowledge, there are currently no screening methods for LAD. We have evaluated DVI on both synthetic and real data sets. Experiments indicate that DVI significantly outperforms the existing state-of-the-art screening rules for SVM, and is very effective in discarding non-support vectors for LAD. The speedup gained by DVI rules can be up to two orders of magnitude.

연구 동기 및 목표

• 대규모 SVM 및 LAD 모델을 훈련하는 데 발생하는 계산적 병목 현상을 해결하기 위해.
• 제거된 벡터가 비지지벡터임을 보장하는 안전하고 정확한 걸러내기 방법을 개발하기 위해.
• 이전에 ℓ1-정규화 문제에서의 특성 선택에 국한되었던 걸러내기 기법을 SVM 및 LAD에서의 인스턴스 수준의 걸러내기로 확장하기 위해.
• 기존의 어떤 SVM 또는 LAD 솔버와도 유연하게 통합 가능한 솔버에 종속되지 않는 프레임워크를 제공하기 위해.
• 합성 및 실세계 데이터셋을 대상으로 제안된 방법의 효과성을 입증하기 위해.

제안 방법

• SVM 및 LAD의 이원 문제를 수립하고, 변분부등식을 사용하여 최적의 이원 해를 추정한다.
• 각 데이터 벡터와 최적의 이원 해 사이의 내적에 대한 하한을 유도하여 비지지벡터를 식별한다.
• 걸러내기 규칙은 안전 기준에 기반한다: 하한이 임계값을 초과하면 해당 벡터는 비지지벡터임이 보장된다.
• 걸러내기 조건을 계산하기 위해 데이터를 한 번만 스캔하면 되며, 계산 비용은 극히 낮다.
• 이 프레임워크는 이전에 걸러내기 규칙이 존재하지 않았던 LAD 문제로도 확장된다.
• 이 방법은 기반 솔버에 종속되지 않으며, 기존의 효율적인 솔버와 원활하게 통합될 수 있다.

실험 결과

연구 질문

• RQ1 SVM에서 비지지벡터를 식별하는 데 안전하고 효율적인 걸러내기 규칙을 개발할 수 있는가, 이는 최종 분류기의 성능에 영향을 주지 않는다.
• RQ2 걸러내기 기법을 특성 선택을 넘어서 ℓ1-정규화 모델에서의 인스턴스 수준의 데이터 감소로 일반화할 수 있는가?
• RQ3 변분부등식이 기존 방법보다 더 날카롭고 정확한 이원 해 추정을 제공할 수 있는가?
• RQ4 제안된 방법을 LAD 회귀로 확장할 수 있는가, 여기서는 현재 안전한 걸러내기 규칙이 존재하지 않는다?
• RQ5 이 방법은 대규모 학습 문제에서 계산 비용과 메모리 사용량을 얼마나 줄일 수 있는가?

주요 결과

• IJCNN1 데이터셋에서 DVI 규칙은 비지지벡터의 약 80%를 식별하여 기준 솔버 대비 5배의 속도 향상을 달성한다.
• Wine 데이터셋에서 DVI는 인스턴스의 80% 이상을 제거하여 6배의 속도 향상을 기록한다.
• Forest Covertype 데이터셋에서는 DVI가 거의 80배의 속도 향상을 달성하며, 데이터 포인트의 90% 이상을 걸러낸다.
• LAD 회귀에서는 Magic Gamma Telescope 데이터셋에서 DVI가 90%의 기각 비율을 기록하여 10배의 속도 향상을 이룬다.
• Houses 데이터셋에서는 DVI가 거의 100%의 기각 비율로 115배의 속도 향상을 달성하여 고차원 데이터에서의 효과성을 입증한다.
• DVI는 SSNSV 및 ESSNSV보다 비지지벡터 식별에서 뛰어나며, 걸러내기 초기화에 필요한 계산 오버헤드도 크게 낮다.