[論文レビュー] PRISMA: PRoximal Iterative SMoothing Algorithm

Francesco Orabona, Andreas A. Argyriou+1 more|arXiv (Cornell University)|Jun 11, 2012

Sparse and Compressive Sensing Techniques参考文献 32被引用数 30

ひとこと要約

PRISMA は、滑らかでリプシッツ連続であり、非リプシッツ連続な非滑らか成分を含む凸問題に対する、新しい一次最適化アルゴリズムである。この手法は、リプシッツ連続関数の適応的で時間に依存する滑らか化と、近位更新を用い、反復回数や定義域の境界に関する事前知識を必要とせず、収束速度が O(1/k² + ρ_g log k /k) に達する。

ABSTRACT

Motivated by learning problems including max-norm regularized matrix completion and clustering, robust PCA and sparse inverse covariance selection, we propose a novel optimization algorithm for minimizing a convex objective which decomposes into three parts: a smooth part, a simple non-smooth Lipschitz part, and a simple non-smooth non-Lipschitz part. We use a time variant smoothing strategy that allows us to obtain a guarantee that does not depend on knowing in advance the total number of iterations nor a bound on the domain.

研究の動機と目的

• トレースノルムより優れた利点を示すが、効率的なソルバが存在しないマトリクス最大ノルムを含む問題に対する実用的で理論的根拠のある一次最適化手法の開発。
• 滑らか関数、リプシッツ連続非滑らか関数、一般凸非滑らか関数の三つの成分を含む合成凸関数の最適化という課題に取り組む。
• 既存の滑らか化手法が反復総数や定義域境界に関する事前知識を必要としているのを解消する。
• 滑らか関数の勾配と非滑らか関数の近位作用素へのアクセスのみを要する、統一的でブラックボックス型のアルゴリズムを提供する。
• 一次最適化と近位オракルへのアクセスのみを用いて、基底追求やロバストPCAといった問題で最先端の収束速度を達成する。

提案手法

• 反復ごとに滑らか化パラメータ β を適応的に調整する、時間依存の滑らか化戦略を、リプシッツ連続非滑らか関数 g に導入する。
• 滑らか関数 f と滑らか化された g の和に対して、ネステロフ風の加速勾配降下法を適用し、モーレウ包の勾配を活用する。
• 非リプシッツ連続非滑らか関数 h に対して、部分線形化を適用し、FOBOS や ISTA/FISTA と同様に各反復に直接含める。
• モーレウ・ヨシダ正則化（モーレウ包）を用いて、近位作用素による g の近似を実現し、勾配の性質が明確な滑らか近似を可能にする。
• 非滑らか関数 h と滑らか化された g に対する近位ステップと、滑らか関数 f に対する勾配ステップを組み合わせ、1反復あたり O(n) の計算量を維持する。
• 反復回数 k の二乗に依存する滑らか成分の収束速度と、log k /k に依存するリプシッツ成分の収束速度を導出するが、反復総数 T や定義域境界に関する事前知識は不要である。

実験結果

リサーチクエスチョン

• RQ1 最大ノルム正則化付き行列補完問題に対して、効率的かつ理論的根拠を持つ一次最適化手法を開発可能か？
• RQ2 反復総数の事前知識が不要な適応的滑らか化戦略は、合成凸最適化における収束保証をどのように改善できるか？
• RQ3 ロバストPCA、スパース逆共分散選択、基底追求といった多様な問題を統一的なフレームワークで処理できる1つのアルゴリズムは可能か？
• RQ4 三成分合成目的関数に対して、適応的滑らか化と近位分割を組み合わせた手法の収束速度は何か？
• RQ5 パrameterが最適化されていない状況でも、ADMM や ALM よりも実用的に優れた性能を示すか？

主な発見

• PRISMA は、反復回数や定義域境界に関する事前知識を必要とせず、O(L_f / k² + ρ_g log k / k) の収束速度を達成する。これは log k 要素を除いて最適である。
• 最大ノルム行列補完問題では、PRISMA は初めての実用的で一次の手法を提供し、かつて半正定値計画法ソルバに限定されていた大規模問題の効率的解法を可能にする。
• ロバストPCAにおいて、PRISMA は以前に発表された手法を上回り、優れた経験的収束性と解の品質を示す。
• 基底追求問題では、PRISMA は一次最適化と近位オラクルへのアクセスのみを用いて、これまでで最も良い収束速度を達成し、1回の射影ステップあたり O(d m) の計算量を維持する。
• 経験的結果から、PRISMA の性能は、パrameterを最適化した ALM と同等であり、ADMM よりも顕著に優れている。
• 複数の遺伝子発現データセットにおいて、PRISMA の1反復あたりの平均実行時間は、ALM や ADMM と比較して1.5倍以内であり、最小限のチューニングで実現可能である。