[論文レビュー] A First-Order Algorithmic Framework for Wasserstein Distributionally Robust Logistic Regression

Jiajin Li, Sen Huang+1 more|arXiv (Cornell University)|Oct 28, 2019

Statistical Methods and Inference参考文献 27被引用数 10

ひとこと要約

本稿では、Wasserstein分布ロバストなロジスティック回帰（DRLR）問題を効率的に解くために、最初の順序のアルゴリズムフレームワーク、具体的には線形化されたプロキシマルADMM（LP-ADMM）を提案する。この手法は部分線形収束を達成し、合成データおよび実世界のデータセットの両方で、同等の精度を維持しながら、市販のソルバーと比較して最大800倍速い性能を発揮する。

ABSTRACT

Wasserstein distance-based distributionally robust optimization (DRO) has received much attention lately due to its ability to provide a robustness interpretation of various learning models. Moreover, many of the DRO problems that arise in the learning context admits exact convex reformulations and hence can be tackled by off-the-shelf solvers. Nevertheless, the use of such solvers severely limits the applicability of DRO in large-scale learning problems, as they often rely on general purpose interior-point algorithms. On the other hand, there are very few works that attempt to develop fast iterative methods to solve these DRO problems, which typically possess complicated structures. In this paper, we take a first step towards resolving the above difficulty by developing a first-order algorithmic framework for tackling a class of Wasserstein distance-based distributionally robust logistic regression (DRLR) problem. Specifically, we propose a novel linearized proximal ADMM to solve the DRLR problem, whose objective is convex but consists of a smooth term plus two non-separable non-smooth terms. We prove that our method enjoys a sublinear convergence rate. Furthermore, we conduct three different experiments to show its superb performance on both synthetic and real-world datasets. In particular, our method can achieve the same accuracy up to 800+ times faster than the standard off-the-shelf solver.

研究の動機と目的

• 大規模な学習におけるWasserstein DRLR問題に対する市販の内点法ソルバーのスケーラビリティの限界を解消すること。
• 非分離可能で非滑らかな項を含むDRLRの凸再定式化に特化した最初の順序のアルゴリズムフレームワークを開発すること。
• 有限のラベル信頼性（κ < ∞）を持つDRLRに対する効率的な反復的手法の欠如を克服すること。これは実用的には重要だが、十分に検討されていないケースである。
• DRLRのβ-部分問題に対して、新しい線形化されたプロキシマルADMMアプローチの理論的収束保証と実験的効率を確立すること。
• 標準的なソルバーや他の最初の順序手法と比較して、合成データおよび実世界のデータセットの両方で優れた性能を示すこと。

提案手法

• DRLR定式化におけるβ-部分問題を解くために、線形化されたプロキシマルADMM（LP-ADMM）を提案。この問題は滑らかでないロス項と、2つの非分離可能な非滑らかな項を含む。
• デュアル変数の更新に最初の順序の局所モデルを導入。標準的な2次ペナルティの代わりに線形近似を用いることで、計算効率を向上させる。
• [19]で提示されたDRLRの正確な凸再定式化を活用。これはβとλの最小化問題として定式化され、βの双対ノルムを含む制約を含む。
• ADMMの部分問題にプロキシマル項を導入することで、収束の安定化と効率的な部分問題解法の実現を図る。
• ADMMにおける適応的ステップサイズを実装し、病的条件の悪い実世界データにおける実用的性能を向上させる。
• βとλの交互最小化により、完全なDRLR問題を処理するための広範なアルゴリズムフレームワークにLP-ADMMを統合する。

実験結果

リサーチクエスチョン

• RQ1 有限のラベル信頼性（κ < ∞）を持つWasserstein DRLR問題に対して、最初の順序手法が実用的効率と収束保証を達成できるか？
• RQ2 線形化されたプロキシマルADMMは、DRLRのβ-部分問題を解く際、標準ADMMや他の最初の順序手法を上回る性能を発揮するか？
• RQ3 LP-ADMMの実験的および理論的性能は、YALMIPなどの市販ソルバーと比較して、大規模なDRLR問題においてどうなるか？
• RQ4 提案されたフレームワークは、既存の手法と比較して著しく速い収束を達成しながらも、高いテスト精度を維持できるか？
• RQ5 デュアル更新に局所モデルを用いることで、病的条件の悪い実世界データにおける収束速度とロバストネスが向上するか？

主な発見

• LP-ADMM手法は部分線形収束率を達成し、収束行動に対する理論的保証を提供する。
• 実世界のデータセットにおいて、LP-ADMMはYALMIPと同等のテスト精度を達成するが、最大800倍速く、計算効率に優れる。
• 合成実験では、LP-ADMMはSADMM、PDHG、LADMM、および投影勾配法と比較して、収束速度と部分最適性ギャップの低減において顕著に優れている。
• 適応的LP-ADMMは大規模なインスタンスにおいてより優れたスケーラビリティを示し、問題サイズが大きくなるほど性能優位性が増す。
• κ = 7のDRLRモデルは、MNISTやa1aを含むすべてのテストデータセットで、標準的ロジスティック回帰および正則化ロジスティック回帰を一貫して上回る性能を発揮する。
• 病的条件の悪いデータ行列に対しても、ベースラインの最初の順序手法が収束に成功しない中で、LP-ADMMはロバストな性能を維持する。