[論文レビュー] Projection Efficient Subgradient Method and Optimal Nonsmooth Frank-Wolfe Method

Kiran Koshy Thekumparampil, Prateek Jain+2 more|arXiv (Cornell University)|Oct 5, 2020

Sparse and Compressive Sensing Techniques参考文献 89被引用数 7

ひとこと要約

本稿では、非滑らかな凸最適化のための新しい一次順序法である MOPES と MOLES を提案する。これらの手法は、第一順序オракル（FO）呼び出しを最適な $\mathcal{O}(\varepsilon^{-2})$ に保ちつつ、射影オラクル（PO）と線形最小化オラクル（LMO）の呼び出し回数をそれぞれ $\mathcal{O}(\varepsilon^{-1})$ と $\mathcal{O}(\varepsilon^{-2})$ に削減し、非滑らかなフランク＝ウォルフ法における長年の未解決問題を解消する。このアプローチは、モラウ・ヨシダの滑らか化と加速スキームを活用し、やや強いリプシッツ拡張仮定のもとで、FO と PO/LMO の依存関係を分離する。

ABSTRACT

We consider the classical setting of optimizing a nonsmooth Lipschitz continuous convex function over a convex constraint set, when having access to a (stochastic) first-order oracle (FO) for the function and a projection oracle (PO) for the constraint set. It is well known that to achieve $ε$-suboptimality in high-dimensions, $Θ(ε^{-2})$ FO calls are necessary. This is achieved by the projected subgradient method (PGD). However, PGD also entails $O(ε^{-2})$ PO calls, which may be computationally costlier than FO calls (e.g. nuclear norm constraints). Improving this PO calls complexity of PGD is largely unexplored, despite the fundamental nature of this problem and extensive literature. We present first such improvement. This only requires a mild assumption that the objective function, when extended to a slightly larger neighborhood of the constraint set, still remains Lipschitz and accessible via FO. In particular, we introduce MOPES method, which carefully combines Moreau-Yosida smoothing and accelerated first-order schemes. This is guaranteed to find a feasible $ε$-suboptimal solution using only $O(ε^{-1})$ PO calls and optimal $O(ε^{-2})$ FO calls. Further, instead of a PO if we only have a linear minimization oracle (LMO, a la Frank-Wolfe) to access the constraint set, an extension of our method, MOLES, finds a feasible $ε$-suboptimal solution using $O(ε^{-2})$ LMO calls and FO calls---both match known lower bounds, resolving a question left open since White (1993). Our experiments confirm that these methods achieve significant speedups over the state-of-the-art, for a problem with costly PO and LMO calls.

研究の動機と目的

• 射影オラクル（PO）呼び出しの計算コストが高いため、射影が高価な問題では実行時間が支配的になる、射影補完勾配法（PGD）における PO 呼び出し回数が $\mathcal{O}(\varepsilon^{-2})$ に比例するという問題に対処すること。
• 標準的な第一順序および射影オラクルへのアクセスのもとで、最適な FO 複雑度と非最適な PO 複雑度のギャップを埋めること。
• 制約集合の外縁で目的関数のリプシッツ連続性がやや拡張されるという弱い仮定のもとで、最適な $\mathcal{O}(\varepsilon^{-2})$ の FO 呼び出しを維持しつつ、PO 呼び出し回数を $\mathcal{O}(\varepsilon^{-1})$ に削減する手法を開発すること。
• フランク＝ウォルフ風の手法に一般化し、線形最小化オラクル（LMO）を用いて、非滑らかな設定における LMO および FO 呼び出し回数を最適な $\mathcal{O}(\varepsilon^{-2})$ に保ち、既知の下界に一致させること。

提案手法

• 目的関数のモラウエンVELOープに加速第一順序法を適用することで滑らかにし、より少ない PO 呼び出しで効率的な最小化を可能にする、MOPES（Moreau Projection-Efficient Subgradient method）を導入する。
• 非滑らかな問題を滑らかに変換するためのモラウ＝ヨシダ正則化を用い、PO 呼び出しへの依存度を低下させる加速スキームの適用を可能にする。
• モラウエンVELOープの滑らかさを活用し、反復的な更新を慎重に設計することで、アルゴリズムが FO と PO 呼び出しの依存関係を分離する。
• PO アクセスを線形最小化オラクル（LMO）に置き換えることで、フランク＝ウォルフ風の設定に応用可能な MOLES（Moreau-Optimized LMO-Efficient Subgradient）を拡張する。
• 目的関数が制約集合のわずかに大きな近傍でもリプシッツ連続性を保つという弱い仮定を採用し、集合 $\mathcal{X}$ の外縁でも FO クエリが可能になるようにする。
• 二段階戦略を採用する：まず、部分勾配を用いてモラウエンVELOープを近似し、次にネステロフ風の加速を用いて、最小限の PO や LMO 呼び出しで効率的に最小化する。

実験結果

リサーチクエスチョン

• RQ1 非滑らかな凸最適化のための第一順序法として、$\mathcal{O}(\varepsilon^{-2})$ の最適な FO 呼び出しを達成しつつ、PO 呼び出し回数を $\mathcal{O}(\varepsilon^{-2})$ より顕著に削減できるか？
• RQ2 制約集合の外縁で目的関数のリプシッツ連続性がやや拡張されるという仮定のもとで、$\mathcal{O}(\varepsilon^{-1})$ の PO 呼び出し回数で $\varepsilon$-最適解を達成できるか？
• RQ3 フランク＝ウォルフフレームワークを最適化し、非滑らかな設定における LMO および FO 呼び出し回数の既知の $\mathcal{O}(\varepsilon^{-2})$ 下界に一致させることができるか？（2013 年以降未解決の問題）
• RQ4 モラウ＝ヨシダの滑らか化を用いることで、標準的な射影補完勾配法やフランク＝ウォルフ法と比較して、FO と PO/LMO 呼び出し回数のトレードオフを理論的に改善できるか？

主な発見

• MOPES は、弱いリプシッツ拡張仮定のもとで、$\mathcal{O}(\varepsilon^{-1})$ の PO 呼び出しと $\mathcal{O}(\varepsilon^{-2})$ の FO 呼び出しを達成し、PGD の $\mathcal{O}(\varepsilon^{-2})$ PO 呼び出しを上回る。
• MOLES は、$\mathcal{O}(\varepsilon^{-2})$ の LMO および FO 呼び出しを達成し、既知の下界に一致し、非滑らかなフランク＝ウォルフ法における長年の未解決問題を解消する。
• 射影や LMO の計算が高価な問題では、壁時計時間において最先端の手法を上回り、特に $\ell_1$ や核ノルム制約を伴う高次元設定で顕著な性能向上を示す。
• 理論的解析により、MOPES と MOLES が最適な FO 複雑度を維持しながら、PO および LMO 複雑度を $\varepsilon^{-1}$ の要因で低減し、次元に依存しない射影回数の複雑度を達成することが確認された。
• 実験では、$\ell_1$-ノルム SVM や核ノルム制約付き行列 SVM といった、射影/LMO の計算が高価な問題において、PGD やフランク＝ウォルフの変種と比較して顕著な高速化が確認された。