[論文レビュー] Exploiting Strong Convexity from Data with Primal-Dual First-Order Algorithms

Jialei Wang, Lin Xiao|arXiv (Cornell University)|Mar 7, 2017

Stochastic Gradient Optimization Techniques参考文献 12被引用数 10

ひとこと要約

本稿では、線形予測子におけるデータに内在する強い凸性を活用する、明示的な正則化を必要としない適応的プライマル・デュアル一次アルゴリズムを提案する。データ構造に基づいてステップサイズを動的に調整することにより、明示的な正則化が存在しない場合でも線形収束を達成し、反復複雑性はデータに依存する強い凸性パラメータ（例えば、データ行列の最小特異値）に依存する。

ABSTRACT

We consider empirical risk minimization of linear predictors with convex loss functions. Such problems can be reformulated as convex-concave saddle point problems, and thus are well suitable for primal-dual first-order algorithms. However, primal-dual algorithms often require explicit strongly convex regularization in order to obtain fast linear convergence, and the required dual proximal mapping may not admit closed-form or efficient solution. In this paper, we develop both batch and randomized primal-dual algorithms that can exploit strong convexity from data adaptively and are capable of achieving linear convergence even without regularization. We also present dual-free variants of the adaptive primal-dual algorithms that do not require computing the dual proximal mapping, which are especially suitable for logistic regression.

研究の動機と目的

• 線形収束を達成するためのプライマル・デュアルアルゴリズムが、明示的な正則化を必要としているという制限を解消すること。
• 目的関数を変更せずに、データ行列の最小特異値などによって得られるデータ由来の強い凸性を活用して収束を加速すること。
• バッチ版およびランダム化版のプライマル・デュアルアルゴリズムを設計し、データ構造を適応的に活用して収束を高速化すること。
• 特にロジスティック回帰において計算コストの高いデュアルプロキシマルマッピングを回避するため、デュアルフリーな変種を導入すること。
• ユーザーが定義する正則化に依存するのではなく、データに依存する強い凸性パラメータに依存する線形収束レートを達成すること。

提案手法

• ラグランジュ双対定式を用いて、経験的リスク最小化を凸-凹なサドルポイント問題に再定式化する。
• データに依存する強い凸性パラメータ（例：δ と μ）に基づいてステップサイズを調整する適応的プライマル・デュアルアルゴリズムを設計する。
• データ行列 A の最小特異値 μ を取り入れるパラメータ更新則を導入し、データ由来の強い凸性を反映する。
• 修正された更新戦略によりデュアルプロキシマルマッピングの必要性を排除することで、デュアルフリーな変種を構築する。
• 適切に選ばれたパrameters（τ, σ, α）を用いたリャプノフ関数解析により、データ由来の強い凸性下での線形収束を証明する。
• 標準的な R²/(γλ) ではなく、有効な条件数 R²/(γ(λ + δμ²/n)) に依存する収束レートを確立し、非適応的メソッドを上回る。

実験結果

リサーチクエスチョン

• RQ1 データ由来の強い凸性（例：データ行列の最小特異値）を活用することで、明示的な正則化なしにプライマル・デュアル一次アルゴリズムが線形収束を達成できるか？
• RQ2 データ行列の最小特異値 μ を用いて、収束を高速化するためのアルゴリズムパラメータを適応的に設定する方法は何か？
• RQ3 正則化ではなくデータ由来の強い凸性が生じる場合、プライマル・デュアルアルゴリズムの収束レートはどのようになるか？
• RQ4 計算コストの高いデュアルプロキシマルマッピングを回避しつつ、線形収束を維持できるデュアルフリーな変種を設計できるか？
• RQ5 明示的な正則化が存在しない状況で、データ由来の強い凸性を活用することで、条件数をどの程度改善できるか？

主な発見

• 提案された適応的プライマル・デュアルアルゴリズムは、データ行列が強い凸性を示す（つまり μ > 0）限り、明示的な正則化がなくても線形収束を達成する。
• 反復複雑性は O((n + √n R / √(γ(λ + δμ²/n))) log(1/ε)) であり、データに依存する強い凸性を組み込むことで、標準的手法を改善する。
• デュアルフリーな変種はデュアルプロキシマルマッピングの計算を回避し、特にそのマッピングが非効率的なロジスティック回帰において特に効率的である。
• 収束レートは、μ が大きい場合には R²/(γλ) よりも顕著に小さい有効な条件数 R²/(γ(λ + δμ²/n)) に依存する。
• データ由来の強い凸性を反映するようにパrametersを調整したリャプノフ関数を用いた解析により、やや厳しい仮定のもとで線形収束が保証される。
• 数値結果（理論的分析から示唆される）により、明示的な正則化がなくても、データに強い凸性が存在する場合には、標準的なプライマル・デュアル法やプライマル法を上回る性能を示す。