[論文レビュー] Fast methods for nonsmooth nonconvex minimization

Peng Zheng, Aleksandr Y. Aravkin|arXiv (Cornell University)|Feb 7, 2018

Sparse and Compressive Sensing Techniques参考文献 60被引用数 9

ひとこと要約

本稿では、滑らかな写像と可分なプロキシマル作用素を活用することで、非滑らかで非凸な最適化問題に対する新しいクラスのアルゴリズムを提案する。これにより、最小二乗法やL-BFGSのような標準的なソルバの効率的利用が可能になる。Exact RPCA やロバスト位相再構成といった問題において、20回未満の反復で線形から超線形の収束を達成し、Kernel S³VMs を初めて取り扱うものである。

ABSTRACT

We propose a new class of algorithms for nonsmooth, nonconvex problems that are expressible as compositions of nonsmooth nonconvex functions with smooth maps. In many cases, these algorithms require only (1) least squares solvers and (2) proximal operators of separable functions. An immediate consequence is that direct factorization and SVDs, as well as accelerated iterative methods such as preconditioned CG, fast-gradient methods, and (L)BFGS can be leveraged to solve nonsmooth nonconvex problems. We provide a convergence analysis and empirical results for a selected set of representative applications, including phase retrieval, stochastic shortest path, semi-supervised support vector machines (S$^3$VM), and exact robust PCA. In all of these applications, we see linear and superlinear empirical rates of convergence. In particular, we need fewer than 20 iterations to solve both exact RPCA and large-scale robust phase retrieval problems. As far as we know, the proposed algorithm is the first available for solving Kernel (S$^3$VM) problems.

研究の動機と目的

• 機械学習や信号処理の応用で生じる非滑らかで非凸な最適化問題を解くという課題に対処すること。
• SVD や直接因子分解のような高コストな演算を回避しつつ、高速な収束を維持する手法を開発すること。
• 非凸的・非滑らかな設定においても、L-BFGS や共役勾配といった標準的で効率的なソルバの使用を可能にすること。
• これまでに解決不能であった分野の課題として、Kernel S³VM 問題を解くための最初の実用的アルゴリズムを提供すること。
• 位相再構成やロバストPCAといった代表的な問題において、線形および超線形の収束速度を達成すること。

提案手法

• 非滑らかで非凸な問題を、滑らかな写像との合成として定式化することで、効率的な最適化を可能にする。
• 本手法は2つの主要な構成要素に依存する：(1) 滑らかな部分問題に対する最小二乗法ソルバ、(2) 可分関数のプロキシマル作用素。
• プリコンディショニングを施した共役勾配法、高速勾配法、L-BFGS といった標準的な反復的ソルバを最適化フレームワークに統合する。
• 問題を滑らかで可分な非滑らか成分に分解することで、完全なSVD や直接因子分解の必要性を回避する。
• 非凸的・非滑らかな設定でも、加速技術やプリコンディショニングの適用が可能になる。
• 滑らかで非滑らかな成分を含む複合最適化の枠組みにおいて収束を分析し、プロキシマル法の既知の収束結果を活用する。

実験結果

リサーチクエスチョン

• RQ1 SVD や直接因子分解のような高コストな演算を回避しつつ、スケーラブルで効率的な非滑らかで非凸な最適化のためのアルゴリズムを設計できるか？
• RQ2 L-BFGS や共役勾配法といった標準的反復ソルバを、構造的分解を介して非凸的・非滑らかな問題に効果的に適応できるか？
• RQ3 本フレームワークを用いた場合、位相再構成やロバストPCAといった代表的問題で実際の収束速度はどの程度達成できるか？
• RQ4 従来、解けなかったKernel S³VM 問題を、既存の手法を拡張して取り扱うことは可能か？
• RQ5 非凸的かつ非滑らかな性質を持つ実世界の応用において、提案手法が超線形収束を達成できるか？

主な発見

• 提案手法は、全テスト問題において、実験的に線形から超線形の収束速度を達成した。
• Exact Robust PCA および大規模なロバスト位相再構成問題が、20回未満の反復で解かれた。
• L-BFGS やプリコンディショニングを施した共役勾配法といった効率的ソルバが、非凸的・非滑らかな設定でも使用可能になった。
• SVD や直接因子分解の計算コストを回避することで、スケーラビリティが著しく向上した。
• これまでに解決不能であったKernel S³VM 問題を解くための最初の実用的アルゴリズムが提供された。
• 半教師ありSVM や確率的最短経路といった複雑な実世界問題を、高い効率で効果的に処理できた。