[論文レビュー] Forward-backward truncated Newton methods for convex composite optimization

Panagiotis Patrinos, Lorenzo Stella+1 more|arXiv (Cornell University)|Feb 26, 2014

Advanced Optimization Algorithms Research参考文献 56被引用数 29

ひとこと要約

本稿では、滑らかでない問題を滑らかで正確なペナルティ関数である前向き後向き包絡関数（FBE）の無制約最小化に再定式化することにより、凸複合最適化のための2つのプロキシマルニュートン-CG法を提案する。これらの手法は、小次元の線形系における効率的なCGベースのニュートンステップを活用することで、Q-超線形的またはQ-2次収束を達成し、グローバルな複雑度境界を有する。

ABSTRACT

This paper proposes two proximal Newton-CG methods for convex nonsmooth optimization problems in composite form. The algorithms are based on a a reformulation of the original nonsmooth problem as the unconstrained minimization of a continuously differentiable function, namely the forward-backward envelope (FBE). The first algorithm is based on a standard line search strategy, whereas the second one combines the global efficiency estimates of the corresponding first-order methods, while achieving fast asymptotic convergence rates. Furthermore, they are computationally attractive since each Newton iteration requires the approximate solution of a linear system of usually small dimension.

研究の動機と目的

• 滑らかでないがプロキシマルマッピングが安価な関数gを有する形 min f(x) + g(x) の凸複合最適化問題を、効率的に解く挑戦に取り組む。
• 第一順位法（例：収束が遅い）の限界と滑らかでない設定における第二順位法の高コストを克服するため、滑らかな再定式化を導入する。
• 小次元の線形系の特徴を活用することで、各反復の計算量を低く保ちながら、グローバルに収束し、高速に超線形収束するアルゴリズムを開発する。
• スパarsityと解の近傍におけるヘッセ行列の近似の構造を活用することで、大規模問題への効率的かつウォームスタート可能な解法を実現する。

提案手法

• 複合問題 min f(x) + g(x) を、滑らかで正確なペナルティ関数である前向き後向き包絡関数（FBE）の無制約最小化に再定式化する。
• 非滑らか解析の道具を用いて、FBEの勾配の一般化された微分可能性特性を導出し、ヘッセ行列の線形ニュートン近似（LNA）を構築する。
• 各反復でニュートン方程式系を近似的に解くために共役勾配（CG）法を適用し、ヘッセ行列の明示的構築を回避することでスケーラビリティを向上させる。
• 2つのアルゴリズムを設計する：FBN-CG Iはラインサーチ戦略を用い、FBN-CG IIは第一順位法のグローバル収束見積もりと高速な局所収束を組み合わせる。
• 継続パラメータλの値を徐々に小さくする方法を用いてウォームスタートを実現し、最初は大きなλから始め、λ₀へと進める。
• 行列の構造（例：スパarsity、クロネッカー積）を活用して、行列-ベクトル積と残差を効率的に計算し、計算コストを低減する。

実験結果

リサーチクエスチョン

• RQ1 滑らかでない複合最適化問題を、収束特性が良好な滑らかな無制約最適化問題に同値に再定式化できるか？
• RQ2 このような滑らかな再定式化に対して、ニュートン型手法を設計することで、高速な局所収束を達成しつつ、グローバル収束保証を維持できるか？
• RQ3 問題の構造を活用し、CGのような反復解法を用いることで、ニュートンステップの計算コストを低く抑えられるか？
• RQ4 提案手法は、標準的な第一順位法（例：FBS、APGL）および他の第二順位法（例：LADM）と比較して、反復回数とSVD使用量の点で優れているか？
• RQ5 このフレームワークは、準ニュートン法や信頼領域法へと拡張可能か？非凸問題へも一般化可能か？

主な発見

• 前向き後向き包絡関数（FBE）は、滑らかで正確なペナルティ関数であり、滑らかでない複合問題を滑らかな無制約問題に変換する。
• 提案されたFBN-CG IおよびFBN-CG IIアルゴリズムは、非退化ケースにおいてQ-超線形的またはQ-2次収束率を達成し、グローバルな複雑度境界を有する。
• 行列補完テストでは、n=100–500の場合、FBN-CG IとIIは平均して54–84反復、126–151回のSVDを要し、LADM（最大1000反復）を上回り、APGLと同等の精度を達成したが、1反復あたりのSVDコストは高かった。
• FBN-CG法は、すべてのテストケースで相対誤差が2e-4未満に安定して達成された一方、LADMは大きな行列では1000反復以内に収束しなかった。
• 小次元の線形系とスパarsityの効果的活用、ウォームスタートの活用により、計算が効率的であり、大規模問題へのスケーラビリティを実現した。
• このフレームワークにより、古典的な滑らかなニュートン法が滑らかでない問題および制約付き問題へと拡張可能となり、準ニュートン法や信頼領域法の応用への道が開かれた。