[논문 리뷰] Streaming Complexity of SVMs

Alexandr Andoni, Collin Burns외 3명|arXiv (Cornell University)|2020. 01. 01.

Stochastic Gradient Optimization Techniques참고 문헌 11인용 수 2

한 줄 요약

이 논문은 편향 정규화된 서포트 벡터 머신(SVM)에 대한 스트리밍 알고리즘의 공간 복잡도를 조사하며, 저차원 설정(d = 1, 2)에서 점 추정과 최적화 모두에 대해 비선형 공간 알고리즘이 존재함을 보이며, 각각 O(1/√ε) 및 O(ε⁻⁴/⁵) 공간을 달성함을 보여주고, 스트리밍 환경에서 점 추정과 최적화 사이에 명백한 격차가 있음을 드러내는 날카롭거나 거의 날카로운 하한선을 증명함.

ABSTRACT

We study the space complexity of solving the bias-regularized SVM problem in the streaming model. In particular, given a data set (x_i,y_i) ∈ ℝ^d× {-1,+1}, the objective function is F_λ(θ,b) = λ/2‖(θ,b)‖₂² + 1/n∑_{i=1}ⁿ max{0,1-y_i(θ^Tx_i+b)} and the goal is to find the parameters that (approximately) minimize this objective. This is a classic supervised learning problem that has drawn lots of attention, including for developing fast algorithms for solving the problem approximately: i.e., for finding (θ,b) such that F_λ(θ,b) ≤ min_{(θ',b')} F_λ(θ',b')+ε. One of the most widely used algorithms for approximately optimizing the SVM objective is Stochastic Gradient Descent (SGD), which requires only O(1/λε) random samples, and which immediately yields a streaming algorithm that uses O(d/λε) space. For related problems, better streaming algorithms are only known for smooth functions, unlike the SVM objective that we focus on in this work. We initiate an investigation of the space complexity for both finding an approximate optimum of this objective, and for the related "point estimation" problem of sketching the data set to evaluate the function value F_λ on any query (θ, b). We show that, for both problems, for dimensions d = 1,2, one can obtain streaming algorithms with space polynomially smaller than 1/λε, which is the complexity of SGD for strongly convex functions like the bias-regularized SVM [Shalev-Shwartz et al., 2007], and which is known to be tight in general, even for d = 1 [Agarwal et al., 2009]. We also prove polynomial lower bounds for both point estimation and optimization. In particular, for point estimation we obtain a tight bound of Θ(1/√{ε}) for d = 1 and a nearly tight lower bound of Ω̃(d/{ε}²) for d = Ω(log(1/ε)). Finally, for optimization, we prove a Ω(1/√{ε}) lower bound for d = Ω(log(1/ε)), and show similar bounds when d is constant.

연구 동기 및 목표

• 스트리밍 모델에서 편향 정규화된 SVM 문제를 해결하는 데 필요한 공간 복잡도를 이해하는 것.
• 표준 SGD가 O(d/λε) 공간을 필요로 하는 바에 비해, SVM과 같은 비미분 가능 목적 함수에 대해 더 나은 스트리밍 알고리즘이 존재하는지 조사하는 것.
• 낮은 차원 설정에서 점 추정과 최적화에 대해 날카롭거나 거의 날카로운 하한선을 수립하는 것.
• d = 1일지라도, 점 추정과 최적화의 공간 복잡도 사이에 명백한 격차가 존재함을 보여주는 것.
• 쿼리(θ, b)에서 SVM 목적 함수를 약간의 오차 ε 이내로 평가하기 위해 데이터를 스케치하는 것이 가능한지 탐색하는 것.

제안 방법

• 낮은 차원(d = 1, 2)에서 기하학적 및 확률적 추론을 활용한 새로운 스트리밍 알고리즘을 제안하여, 점 추정에 대해 각각 O(1/√ε) 및 O(ε⁻⁴/⁵) 공간을 달성함.
• 넷(net) 분석을 통한 최적화에서 점 추정으로의 감소를 활용하여, 양호한 점 추정기의 존재가 근사적인 SVM 최적화를 가능하게 함을 보임.
• 지원 벡터의 행동을 시뮬레이션하기 위해 철저히 선택된 데이터 포인트(xα, xβ, xq)와 내적을 제어하는 보조 포인트 vi를 사용하여 어려운 사례를 구성함.
• 강한 볼록성과 기울기 기반 분석을 활용하여, 두 개의 다른 데이터 구성에서 최적 해 사이의 거리에 대한 하한선을 유도함.
• 두 당사자 간의 통신 복잡도 프레임워크를 적용하여, 보브가 두 개의 데이터 세트를 구분해야 하는 두 당사자 문제로 감소시켜 하한선을 증명함.
• λ = δ² 관계를 활용하고 n = 1/(20√ε)로 설정하여 파라미터를 校정함으로써 스트리밍 제약 조건 하에서도 하한선 구성이 유효하게 유지되도록 함.

실험 결과

연구 질문

• RQ1 d > 1일 때, 편향 정규화된 SVM에 대한 점 추정은 n에 대해 비선형 공간 복잡도로 달성될 수 있는가?
• RQ2 낮은 차원(d = 1, 2)에서 SVM 목적 함수의 스트리밍 점 추정에 대한 최적 공간 복잡도는 무엇인가?
• RQ3 스트리밍 모델에서 SVM에 대해 점 추정과 최적화의 공간 복잡도 사이에 증명 가능한 격차가 존재하는가?
• RQ4 스트리밍 알고리즘이 SVM과 같은 비미분 가능 목적 함수에 대해 SGD보다 더 낮은 공간 복잡도를 달성할 수 있는가?
• RQ5 d = 1 및 d ≥ 2의 스트리밍 설정에서 점 추정과 최적화에 대해 날카롭거나 거의 날카로운 하한선은 무엇인가?

주요 결과

• d = 1일 때, 논문은 O(1/√ε)의 점 추정 공간 복잡도를 달성하며, 이는 로그 요소를 제외한 날카로운 하한선임을 보임.
• d = 2일 때, 논문은 O(ε⁻⁴/⁵)의 점 추정 공간 복잡도를 달성하며, 하한선 Ω(ε⁻³/⁵)과 함께 거의 최적임을 보임.
• d = Ω(log(1/ε))일 때, 논문은 점 추정에 대해 Ω(d/(ε² polylog(1/ε)))의 하한선을 증명하며, 이는 다항로그 요소를 제외한 날카로운 하한선임을 보임.
• d = Ω(log(1/ε))일 때, 최적화에 대해 Ω(1/√ε)의 하한선을 확립하여, SGD의 O(1/λε) 복잡도와 명백한 격차를 보임.
• 결과적으로, 스트리밍 모델에서 조차 d = 1일지라도 점 추정은 최적화보다 훨씬 더 많은 공간을 요구함을 보여줌.
• d = 2이고 λ = Θ(1/n²일 때, 스케치에 대해 Ω(ε⁻¹/⁴)의 하한선을 확보하며, d ≥ 3이고 λ = Θ(1/n)일 때는 Ω(ε⁻¹/²)의 하한선을 확보함으로써, 차원과 정규화에 대한 의존성을 보임.