[論文レビュー] Fast Epigraphical Projection-based Incremental Algorithms for Wasserstein Distributionally Robust Support Vector Machine

Jiajin Li, Caihua Chen+1 more|arXiv (Cornell University)|Oct 24, 2020

Sparse and Compressive Sensing Techniques参考文献 26被引用数 6

ひとこと要約

本稿では、ホルダー連続性の成長条件の下で収束保証を伴う、効率的な閉形式更新を活用した、Wasserstein分布ロバストなサポートベクターマシン（DRSVM）を解くための2つの新規なエピグラフ射影に基づく逐次的アルゴリズムを提案する。これらの手法は、特に大規模問題において、最先端のソルバーよりも桁違いの高速化を達成し、データセットサイズが増加するにつれて顕著な性能向上を示す実験的結果を示している。

ABSTRACT

Wasserstein extbf{D}istributionally extbf{R}obust extbf{O}ptimization (DRO) is concerned with finding decisions that perform well on data that are drawn from the worst-case probability distribution within a Wasserstein ball centered at a certain nominal distribution. In recent years, it has been shown that various DRO formulations of learning models admit tractable convex reformulations. However, most existing works propose to solve these convex reformulations by general-purpose solvers, which are not well-suited for tackling large-scale problems. In this paper, we focus on a family of Wasserstein distributionally robust support vector machine (DRSVM) problems and propose two novel epigraphical projection-based incremental algorithms to solve them. The updates in each iteration of these algorithms can be computed in a highly efficient manner. Moreover, we show that the DRSVM problems considered in this paper satisfy a Hölderian growth condition with explicitly determined growth exponents. Consequently, we are able to establish the convergence rates of the proposed incremental algorithms. Our numerical results indicate that the proposed methods are orders of magnitude faster than the state-of-the-art, and the performance gap grows considerably as the problem size increases.

研究の動機と目的

• 大規模なWasserstein分布ロバストなSVM問題を解く一般用途のソルバーよりも、スケーラビリティに制限がある問題を解決すること。
• Wasserstein不確実性集合におけるDRSVMの凸再定式化に特化した、効率的で逐次的な最適化アルゴリズムの開発。
• DRSVM問題がホルダー連続性の成長条件を満たすことを証明し、明示的に決定された指数を用いて収束速度を確立すること。
• 問題サイズが増加するに従い、既存手法に比べて顕著な高速化を達成すること。
• YALMIP や CPLEX などの市販ソルバの代替手段として、DROに基づく学習モデルに適したスケーラブルな代替手法を提供すること。

提案手法

• DRSVM問題の構造を活用した、効率的な1イテレーションごとの更新を実現する2つのエピグラフ射影に基づく逐次的アルゴリズムを提案する。
• オペレータ分割とADMMを用いて、$w$-サブプロブレムを閉形式解を有するサブプロブレムに分解する。
• 加速のため、$\rho_{k+1} = \gamma \rho_k$ による適応的ペナルティパラメータ更新を伴う単一サンプルの近接点法を適用する。
• 効率的な$\ell_q$-ノルム制約への射影を可能にするために、補助変数$y$と$g$を用いて$w$-サブプロブレムを再定式化する。
• 収束性と安定性を向上させるために、縮小ペナルティ戦略を用いた標準的なADMMフレームワークを採用する。
• 変数スケーリングを介して変換問題（28）を導出し、元の問題と同じ構造を維持することで、効率的な計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 エピグラフ射影に基づく逐次的アルゴリズムは、一般用途のソルバーよりも、Wasserstein DRSVMにおいて収束速度とスケーラビリティを向上させることができるか？
• RQ2 DRSVM問題はホルダー連続性の成長条件を満たすか？ そして、その条件を用いて収束速度を確立できるか？
• RQ3 実世界のUCIデータセットにおいて、提案手法のウォルクロック時間と目的関数値の正確さはどのように評価されるか？
• RQ4 問題サイズの増大が、提案手法と最先端ソルバとの間の性能差に与える影響は何か？
• RQ5 適応的ペナルティ更新と閉形式射影の使用は、大規模なDRSVM最適化において顕著な高速化をもたらすか？

主な発見

• 提案手法のM-ISGおよびIPPAは、YALMIP や CPLEX に比べて桁違いの高速な収束を達成しており、問題サイズが増加するにつれて性能差が拡大する。
• a9aデータセットにおいて、$\ell_1$-DRSVMではM-ISGが3.018秒で完了したのに対し、YALMIPは642.160秒を要し、213倍の高速化が達成された。
• $\ell_\infty$-DRSVMのa9aデータセットでは、M-ISGが3.368秒、YALMIPが753.330秒で、224倍の高速化が達成された。
• すべての提案手法が、最高の既知の解から1e-6以内の目的関数値を達成しており、高い正確性が確認された。
• テストした全9つのUCIデータセットにおいて一貫した優位性を示し、M-ISGおよびIPPAは、速度と収束性の両面でハイブリッド法やYALMIPを上回った。
• 理論的分析により、DRSVM問題が明示的に決定された指数を有するホルダー連続性の成長条件を満たすことが確認され、収束速度保証が可能となった。