[論文レビュー] New Analysis of Linear Convergence of Gradient-type Methods via Unifying Error Bound Conditions

Huigang Zhang|arXiv (Cornell University)|Jun 1, 2016

Sparse and Compressive Sensing Techniques参考文献 56被引用数 11

ひとこと要約

本稿では、残差測定作用素を用いた誤差境界（EB）条件の統一的枠組みを導入し、勾配型手法の線形収束に関する必要十分なEB条件の導出を可能にする。勾配降下法、近位点法、前向き・後向き分割法、ネステロフの加速法といった基本的アルゴリズムのQ線形収束を保証する、これまでに知られていた中で最も弱い条件を確立する。強凸性の仮定がなくても成立する。

ABSTRACT

This paper reveals that a common and central role, played in many error bound (EB) conditions and a variety of gradient-type methods, is a residual measure operator. On one hand, by linking this operator with other optimality measures, we define a group of abstract EB conditions, and then analyze the interplay between them; on the other hand, by using this operator as an ascent direction, we propose an abstract gradient-type method, and then derive EB conditions that are necessary and sufficient for its linear convergence. The former provides a unified framework that not only allows us to find new connections between many existing EB conditions, but also paves a way to construct new EB conditions. The latter allows us to claim the weakest conditions guaranteeing linear convergence for a number of fundamental algorithms, including the gradient method, the proximal point algorithm, and the forward-backward splitting algorithm. In addition, we show linear convergence for the proximal alternating linearized minimization algorithm under a group of equivalent EB conditions, which are strictly weaker than the traditional strongly convex condition. Moreover, by defining a new EB condition, we show Q-linear convergence of Nesterov's accelerated forward-backward algorithm without strong convexity. Finally, we verify EB conditions for a class of dual objective functions.

研究の動機と目的

• 勾配型手法の収束解析に用いられる多様な誤差境界（EB）条件を、一つの抽象的枠組みに統合すること。
• 異なるEB条件と勾配型手法の間で共通する要素としての残差測定作用素を特定すること。
• 勾配降下法、近位点法、前向き・後向き分割法、ネステロフの加速法といった基本的アルゴリズムの線形収束に関する必要十分なEB条件を確立すること。非凸設定を含む。
• 従来の知られていた条件よりも弱い条件下で、ネステロフの加速前向き・後向きアルゴリズムのQ線形収束を示すこと。
• 双対目的関数のEB条件を、双対性構造を用いて検証することにより、共役関数の強凸性仮定を回避すること。

提案手法

• 最適性測度と収束挙動を結ぶ中心的役割を果たす抽象的残差測定作用素を導入する。
• 残差測定作用素に基づく抽象的EB条件の群を定義し、Kurdyka-Łojasiewicz不等式フレームワークの技術を用いてそれらの相互作用を分析する。
• 残差測定作用素を上昇方向として用いる抽象的勾配型手法を提案する。
• この抽象的手法の線形収束に関する必要十分なEB条件を導出し、古典的手法を包含する。
• この枠組みを応用して、ネステロフの加速前向き・後向きアルゴリズムが、新たなより弱いEB条件下でQ線形収束することを証明する。
• KL不等式のグローバライゼーション技術を用いて、双対目的関数のEB条件を検証し、共役関数のグローバルな強凸性仮定を緩和する。

実験結果

リサーチクエスチョン

• RQ1 勾配型手法の収束解析に用いられる多様な誤差境界条件を結びつける統一的枠組みを構築することは可能か？
• RQ2 残差測定作用素は、勾配法における最適性条件と収束挙動の両者を規定する根本的要素であるか？
• RQ3 既存の線形収束のための十分なEB条件は、必要条件でもあるのか。線形収束を保証する最も弱い条件は何か？
• RQ4 強凸性を仮定せずに、ネステロフの加速前向き・後向きアルゴリズムのQ線形収束を確立できるか？
• RQ5 共役関数の強凸性を仮定しない条件下で、双対目的関数のEB条件をどのような条件下で検証できるか？

主な発見

• 残差測定作用素は、さまざまな誤差境界条件と勾配型手法の間で統一的要素として特定された。
• 残差測定作用素に基づく新たな抽象的EB条件の群が定義され、既存のEB条件間の新しい関係の発見や、新たなEB条件の構築が可能になった。
• 勾配法、近位点法、前向き・後向き分割法の線形収束に関する必要十分なEB条件が、初めて導出された。
• 近位点交替線形化最小化（PALM）アルゴリズムは、強凸性より弱い等価なEB条件下でQ線形収束することが示された。
• ネステロフの加速前向き・後向きアルゴリズムは、従来のものより弱い新たなEB条件下でQ線形収束を達成した。強凸性は必要としない。
• 本稿では、双対性構造を用いて双対目的関数のEB条件を検証し、共役関数のグローバルな強凸性を仮定する代わりに、点周りでの部分劣微分の「なだらかさ」（c calmness）を仮定するのみで十分であることを示した。