[論文レビュー] Convex programming with fast proximal and linear operators

Matt Wytock, Po-Wei Wang+1 more|arXiv (Cornell University)|Nov 16, 2015

Advanced Optimization Algorithms Research参考文献 25被引用数 7

ひとこと要約

Epsilon は、規範的凸計画をプロキシアフィン形式にコンパイルする凸最適化システムであり、ADMM を用いた高速な解法を可能にする。これにより、効率的なプロキシマルおよび線形演算子の豊富なライブラリを活用できる。Epsilon は、問題構造を保持し、密行列／スパース行列のボトル neck を回避することで、一般的な機械学習および統計的問題において、SCS や ECOS といった円錐ソルバーと比較して最大 10 倍の高速化を達成する。

ABSTRACT

We present Epsilon, a system for general convex programming using fast linear and proximal operators. As with existing convex programming frameworks, users specify convex optimization problems using a natural grammar for mathematical expressions, composing functions in a way that is guaranteed to be convex by the rules of disciplined convex programming. Given such an input, the Epsilon compiler transforms the optimization problem into a mathematically equivalent form consisting only of functions with efficient proximal operators---an intermediate representation we refer to as prox-affine form. By reducing problems to this form, Epsilon enables solving general convex problems using a large library of fast proximal and linear operators; numerical examples on many popular problems from statistics and machine learning show that this often improves running times by an order of magnitude or more vs. existing approaches based on conic solvers.

研究の動機と目的

• 一般向けと専用の凸最適化ソルバーの間のギャップを埋め、広範な凸問題クラスの効率的解法を可能にすること。
• 従来の円錐形式で失われる問題構造を保持する、より洗練された中間表現（プロキシアフィン形式）を構築すること。
• 高速で再利用可能なプロキシマルおよび線形演算子を用いて、標準的な機械学習および統計的問題の高性能な解法を可能にすること。
• DCP準拠の問題を、ADMM などのオペレータ分割法でネイティブに解ける形式に自動的に変換すること。
• 既存のツールをはるかに上回る性能を示すベンチマークを含む、オープンソースのシステムをリリースすること。

提案手法

• システムは、規範的凸計画をプロキシアフィン形式にコンパイルする。これは、アフィン変換を施されたプロキシマルフレンドリーな関数の和であり、構造的情報を保持する。
• DCP 問題をプロキシアフィン形式に変換するために、複数の変換を適用するコンパイラを採用し、最適化コンパイラのパスに類似した処理を実施する。
• Epsilon ソルバーは、ADMM を用いてプロキシアフィン形式を解き、ℓ1、ℓ2、核ノルム、ハッブル損失などの一般的な関数に対する高速な実装を活用したプロキシマル演算子を活用する。
• クリロネッカー積や構造的行列を含む、効率的な線形演算子のライブラリを統合し、明示的なスパース／密行列の保存を回避する。
• 分離可能性と構造を活用するオペレータ分割技術を採用し、反復回数と反復ごとのコストを削減する。
• 新しいプロキシマル演算子をコアソルバーを変更せずに追加できるモジュラーアーキテクチャを採用し、拡張性を実現する。

実験結果

リサーチクエスチョン

• RQ1 効率的なプロキシマル演算子を活用することで、一般向け凸最適化システムが、専用ソルバーと同等の性能を達成できるか。
• RQ2 より洗練された中間表現（プロキシアフィン形式）は、問題構造を保持し、標準的な円錐形式よりも高速な解法を可能にするか。
• RQ3 最適化された、問題固有のプロキシマルおよび線形演算子を用いることで、ADMM などのオペレータ分割法はどの程度高速化できるか。
• RQ4 実世界の機械学習および統計的問題において、プロキシアフィン形式に基づくシステムの性能は、円錐ソルバー（例：SCS、ECOS）と比べてどの程度優れるか。
• RQ5 再利用可能なプロキシマル演算子を備えたモジュラーアーキテクチャのシステムは、凸最適化におけるカスタムアルゴリズム開発の必要性をどの程度軽減できるか。

主な発見

• Epsilon は、Lasso、融合Lasso、ロバストPCA、ロジスティック回帰など、幅広い問題において、SCS や ECOS と比較して最大 10 倍以上の高速化を達成した。
• ベース・ブリーフィング問題では、Epsilon は 1.35 秒で解けたが、SCS は 17.26 秒、ECOS は 217.68 秒を要し、同一の目的値を達成した。
• ハッブルおよび最小絶対偏差問題では、Epsilon はそれぞれ 0.20 秒および 0.10 秒で実行されたが、SCS は 3.17 秒および 2.96 秒、ECOS は 28.43 秒および 11.46 秒を要した。
• MNIST 分類問題では、Epsilon は 0.91 秒で解けたが、SCS は 219.63 秒、ECOS は 1752.97 秒を要した。目的値はほぼ同一であった。
• 構造的線形演算子と効率的なプロキシマル評価を活用することで、ADMM の反復回数と反復コストが削減された。
• オープンソースのリリースには、統計および機械学習分野の 17 種類の多様な問題で一貫した性能向上を示すベンチマークが含まれている。