[논문 리뷰] Fast Epigraphical Projection-based Incremental Algorithms for Wasserstein Distributionally Robust Support Vector Machine

Jiajin Li, Caihua Chen외 1명|arXiv (Cornell University)|2020. 10. 24.

Sparse and Compressive Sensing Techniques참고 문헌 26인용 수 6

한 줄 요약

이 논문은 워샤프스키 분포로 저항성 서포트 벡터 머신(DRSVM)을 해결하기 위해 두 가지 새로운 엣지그래프 프로젝션 기반의 증분 알고리즘을 제안한다. 이 알고리즘들은 효율적인 폐형 업데이트와 헬더 조건 하에서의 수렴 보장을 바탕으로 하며, 특히 대규모 문제에서 최신 기술 대비 수개의 주기적 속도 향상을 달성한다. 실험 결과는 데이터셋 크기가 증가할수록 성능 향상이 뚜렷하게 나타남을 보여준다.

ABSTRACT

Wasserstein extbf{D}istributionally extbf{R}obust extbf{O}ptimization (DRO) is concerned with finding decisions that perform well on data that are drawn from the worst-case probability distribution within a Wasserstein ball centered at a certain nominal distribution. In recent years, it has been shown that various DRO formulations of learning models admit tractable convex reformulations. However, most existing works propose to solve these convex reformulations by general-purpose solvers, which are not well-suited for tackling large-scale problems. In this paper, we focus on a family of Wasserstein distributionally robust support vector machine (DRSVM) problems and propose two novel epigraphical projection-based incremental algorithms to solve them. The updates in each iteration of these algorithms can be computed in a highly efficient manner. Moreover, we show that the DRSVM problems considered in this paper satisfy a Hölderian growth condition with explicitly determined growth exponents. Consequently, we are able to establish the convergence rates of the proposed incremental algorithms. Our numerical results indicate that the proposed methods are orders of magnitude faster than the state-of-the-art, and the performance gap grows considerably as the problem size increases.

연구 동기 및 목표

• 일반적인 솔버의 확장성 한계를 해결하여 대규모 워샤프스키 분포로 저항성 SVM 문제를 해결하는 데 목적이 있다.
• 워샤프스키 불확실성 집합 하에서 DRSVM의 볼록 재구성에 특화된 효율적인 증분 최적화 알고리즘을 개발하는 데 목적이 있다.
• DRSVM 문제의 헬더 조건을 만족함을 증명하고, 명시적으로 결정된 지수를 통해 수렴 속도를 확립하는 데 목적이 있다.
• 문제 크기가 증가함에 따라 기존 방법에 비해 뚜렷한 속도 향상을 달성하는 데 목적이 있다.
• YALMIP 및 CPLEX와 같은 상용 솔버에 대한 대체 가능한 확장성 있는 솔루션을 제공하는 데 목적이 있다.

제안 방법

• DRSVM 문제의 구조를 활용하여 효율적인 반복 업데이트를 가능하게 하는 두 가지 엣지그래프 프로젝션 기반의 증분 알고리즘을 제안한다.
• 연산자 분할과 ADMM를 사용하여 $w$-하위문제를 폐형 해를 갖는 하위문제로 분해한다.
• 단일 샘플 프록시 포인트 방법을 적용하고, $\rho_{k+1} = \gamma \rho_k$를 통한 적응형 페널티 파라미터 업데이트를 통해 가속화를 도모한다.
• 보조 변수 $y$와 $g$를 도입하여 $\ell_q$-노름 제약 조건 상의 효율적 프로젝션을 가능하게 하기 위해 $w$-하위문제를 재구성한다.
• 수렴성과 안정성을 향상시키기 위해 수축 페널티 전략을 적용한 표준 ADMM 프레임워크를 활용한다.
• 기존 문제와 동일한 구조를 유지하기 위해 변수 스케일링을 통해 변환된 문제(28)를 유도한다.

실험 결과

연구 질문

• RQ1 엣지그래프 프로젝션 기반의 증분 알고리즘이 일반적인 솔버에 비해 워샤프스키 DRSVM의 수렴 속도와 확장성 면에서 빠른가?
• RQ2 DRSVM 문제는 헬더 조건을 만족하는가? 그리고 이를 통해 수렴 속도를 확립할 수 있는가?
• RQ3 실제 UCI 데이터셋에서 제안된 알고리즘의 벽시계 시간과 목적값 정확도는 어떠한가?
• RQ4 문제 크기가 증가함에 따라 제안된 방법과 최신 기술 솔버 간의 성능 격차는 어떻게 변화하는가?
• RQ5 적응형 페널티 업데이트와 폐형 프로젝션의 사용이 대규모 DRSVM 최적화에서 뚜렷한 속도 향상을 이끌 수 있는가?

주요 결과

• 제안된 M-ISG 및 IPPA 알고리즘은 YALMIP 및 CPLEX에 비해 주기적 속도 향상을 이룩하였으며, 문제 크기가 증가할수록 성능 격차가 더욱 벌어진다.
• a9a 데이터셋에서 $\ell_1$-DRSVM에 대해 M-ISG는 3.018초만에 완료되었고, YALMIP은 642.160초가 소요되어 213배의 속도 향상을 달성했다.
• a9a에서 $\ell_\infty$-DRSVM에 대해 M-ISG는 3.368초, YALMIP은 753.330초가 소요되어 224배의 속도 향상을 기록했다.
• 모든 제안된 방법이 최고의 해에 대해 1e-6 이내의 목적값을 달성하여 높은 정확도를 입증했다.
• 테스트한 9개의 UCI 데이터셋 전반에서 알고리즘은 일관된 우수성을 보였으며, M-ISG 및 IPPA는 속도와 수렴 면에서 하이브리드 및 YALMIP를 모두 압도했다.
• 이론적 분석을 통해 DRSVM 문제가 명시적으로 결정된 지수를 갖는 헬더 조건을 만족함을 확인하였으며, 이는 수렴 속도 보장을 가능하게 한다.