[論文レビュー] On a Class of First-order Primal-Dual Algorithms for Composite Convex Minimization Problems

Seyoon Ko, Donghyeon Yu+1 more|arXiv (Cornell University)|Feb 21, 2017

Sparse and Compressive Sensing Techniques被引用数 1

ひとこと要約

本稿では、単調作用素理論を活用して、効率的でスケーラブルかつ分散計算が可能な、合成凸最適化問題を解くための統一的プライマル・デュアル一次順序アルゴリズム族を提案する。このフレームワークは、アルゴリズムの連続体において最適収束速度を達成し、理論的保証と実験的検証を通じて、最大120万変数の問題において有効であることを示している。

ABSTRACT

Many statistical learning problems can be posed as minimization of a sum of two convex functions, one typically a composition of non-smooth and linear functions. Examples include regression under structured sparsity assumptions. Popular algorithms for solving such problems, e.g., ADMM, often involve non-trivial optimization subproblems or smoothing approximation. We consider two classes of primal-dual algorithms that do not incur these difficulties, and unify them from a perspective of monotone operator theory. From this unification we propose a continuum of preconditioned forward-backward operator splitting algorithms amenable to parallel and distributed computing. For the entire region of convergence of the whole continuum of algorithms, we establish its rates of convergence. For some known instances of this continuum, our analysis closes the gap in theory. We further exploit the unification to propose a continuum of accelerated algorithms. We show that the whole continuum attains the theoretically optimal rate of convergence. The scalability of the proposed algorithms, as well as their convergence behavior, is demonstrated up to 1.2 million variables with a distributed implementation.

研究の動機と目的

• ADMMなどの既存アルゴリズムの限界、特に合成凸最小化において非自明な部分問題を解く必要があることや、滑らか化近似を用いることの問題を解決すること。
• 単調作用素理論を用いて2つのプライマル・デュアルアルゴリズムクラスを統一し、より広範かつ体系的なアルゴリズムフレームワークを構築すること。
• 並列および分散計算環境に適した、プレコンディショニング付き前向き・バックワード分割法の連続体を開発すること。
• 提案されたアルゴリズム族の収束領域全体にわたり、収束速度を確立すること。
• 理論的に最適な収束速度を達成する加速版のフレームワークを設計すること。

提案手法

• 単調作用素理論を用いて、合成凸最小化問題を単調包含問題として定式化する。
• 2つの既存のプライマル・デュアルアルゴリズムクラスを、単一の作用素分割フレームワークのインスタンスとして表現することで統一する。
• 作用素分割ステップをパラメータ化することで、プレコンディショニング付き前向き・バックワード分割法の連続体を導入する。
• 単調作用素理論に基づく理論的分析を用いて、連続体全体の収束速度を導出する。
• アルゴリズムフレームワークにネステロフ風のモーメンタムを組み込むことで、加速版を構築する。
• 大規模問題におけるスケーラビリティを評価するため、分散環境でアルゴリズムを実装する。

実験結果

リサーチクエスチョン

• RQ1 複数のプライマル・デュアルアルゴリズムを統合する統一的理論的フレームワークを構築できるか？
• RQ2 この統一から導かれるアルゴリズム連続体の収束特性は何か？
• RQ3 提案されたフレームワークは、すべてのインスタンスで最適収束速度を達成できるか？
• RQ4 分散および大規模環境における提案アルゴリズムのスケーラビリティはどの程度か？
• RQ5 加速を体系的にフレームワークに統合し、既知の最良理論的収束速度を達成できるか？

主な発見

• 提案されたフレームワークは、単調作用素理論を用いて2つのプライマル・デュアルアルゴリズムクラスを統一し、一貫した理論的基盤を提供する。
• アルゴリズム連続体全体が確立された収束速度を達成し、既知のインスタンスにおける理論的ギャップを埋める。
• フレームワークの加速版は、滑らかな問題において理論的に最適な収束速度 O(1/k²) を達成する。
• アルゴリズムはスケーラブルであり、分散環境で最大120万変数の問題においても効果的な性能を示す。
• 部分問題の解法や滑らか化近似を必要とせず、効率的で並列的かつ分散可能な計算が可能になる。