[論文レビュー] A new general framework for gradient projection methods

Silvia Bonettini, Marco Prato|arXiv (Cornell University)|Jun 25, 2014

Sparse and Compressive Sensing Techniques参考文献 37被引用数 5

ひとこと要約

本稿は、制約付き滑らか最適化におけるスケーリング勾配投影（SGP）法のための新しい収束解析フレームワークを導入し、凸性および単純なスケーリング行列条件のもとで、最小点へのグローバル収束を証明する。さらに、勾配がリプシッツ連続である場合にO(1/k)の収束速度が得られることを示し、画像修復問題における数値結果により有効性を確認する。

ABSTRACT

The aim of this paper is to deepen the convergence analysis of the scaled gradient projection (SGP) method, proposed by Bonettini et al. in a recent paper for constrained smooth optimization. The main feature of SGP is the presence of a variable scaling matrix multiplying the gradient, which may change at each iteration. In the last few years, an extensive numerical experimentation showed that SGP equipped with a suitable choice of the scaling matrix is a very effective tool for solving large scale variational problems arising in image and signal processing. In spite of the very reliable numerical results observed, only a weak, though very general, convergence theorem is provided, establishing that any limit point of the sequence generated by SGP is stationary. Here, under the only assumption that the objective function is convex and that a solution exists, we prove that the sequence generated by SGP converges to a minimum point, if the scaling matrices sequence satisfies a simple and implementable condition. Moreover, assuming that the gradient of the objective function is Lipschitz continuous, we are also able to prove the O(1/k) convergence rate with respect to the objective function values. Finally, we present the results of a numerical experience on some relevant image restoration problems, showing that the proposed scaling matrix selection rule performs well also from the computational point of view.

研究の動機と目的

• 従来のSGP法は極限点の停留性しか保証しなかったが、収束理論を強化すること。
• 目的関数が凸で解が存在するという仮定のもとで、最小点へのグローバル収束を確立すること。
• 目的関数の勾配がリプシッツ連続であると仮定したもとで、目的関数値に対するO(1/k)の収束速度を導出すること。
• 画像修復問題における数値実験を通じて、提案されたスケーリング行列選択ルールの有効性を検証すること。

提案手法

• 反復毎に更新される可変なスケーリング行列を用いる。これにより勾配方向が変更され、収束特性が向上する。
• 凸性のもとで最小点へのグローバル収束を保証するための、単純で実装可能なスケーリング行列の列挙条件を導入する。
• 収束速度の分析には、目的関数の勾配がリプシッツ連続であるという仮定を用いる。
• 提案されたSGPフレームワークを、特に画像修復に向けた大規模な変分問題に適用する。
• 計算的に効率的で実用的効果の高いスケーリング行列選択ルールを設計する。
• 性能と頑健性を評価するために、標準的な画像修復問題における数値実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 SGP法が、単に停留点ではなく最小点へのグローバル収束を達成するための条件は何か？
• RQ2 勾配がリプシッツ連続である場合に、SGP法に対してO(1/k)の収束速度を確立できるか？
• RQ3 スケーリング行列の列挙に対して、凸設定でグローバル収束を保証する単純で実装可能な条件は何か？
• RQ4 提案されたスケーリング行列ルールは、実世界の画像修復問題において実際の応用でどの程度の性能を示すか？
• RQ5 SGP法は、画像および信号処理分野の大規模な変分問題に対して効果的で信頼性があるか？

主な発見

• 目的関数が凸で解が存在する場合、スケーリング行列の列挙が単純で実装可能な条件を満たしていれば、SGP法は最小点へのグローバル収束を達成する。
• 目的関数の勾配がリプシッツ連続であると仮定したもとで、SGP法は目的関数値に関してO(1/k)の収束速度を達成する。
• 提案されたスケーリング行列選択ルールは、画像修復問題における数値実験で優れた性能を示し、計算的有効性が確認された。
• 収束結果は最小限の仮定のもとで確立されており、制約付き滑らか最適化問題に広く適用可能である。
• 理論的発見は、大規模な画像処理応用における頑健性と効率性を示す数値テストの実証的証拠によって裏付けられている。