[論文レビュー] Optimal Computational Trade-Off of Inexact Proximal Methods

Pierre Machart, Sandrine Anthoine+1 more|arXiv (Cornell University)|Oct 18, 2012

Sparse and Compressive Sensing Techniques参考文献 23被引用数 10

ひとこと要約

本稿では、近似プロキシティ演算子の近似に用いる内部反復回数を一定にすることで、標準の収束速度解析とは対照的に、計算コストを最小化する計算的に最適な戦略を提案する。これは、収束速度と計算コストのトレードオフを解消するものであり、SIP（Speedy Inexact Proximal-gradient）アルゴリズムを導入することで、近似精度と反復回数のバランスを取ることで、より速い収束と低い実行時間の両立を達成する。

ABSTRACT

In this paper, we investigate the trade-off between convergence rate and computational cost when minimizing a composite functional with proximal-gradient methods, which are popular optimisation tools in machine learning. We consider the case when the proximity operator is computed via an iterative procedure, which provides an approximation of the exact proximity operator. In that case, we obtain algorithms with two nested loops. We show that the strategy that minimizes the computational cost to reach a solution with a desired accuracy in finite time is to set the number of inner iterations to a constant, which differs from the strategy indicated by a convergence rate analysis. In the process, we also present a new procedure called SIP (that is Speedy Inexact Proximal-gradient algorithm) that is both computationally efficient and easy to implement. Our numerical experiments confirm the theoretical findings and suggest that SIP can be a very competitive alternative to the standard procedure.

研究の動機と目的

• 不正確なプロキシマル勾配法における収束速度と計算コストのトレードオフを解消すること。
• ネストドループアルゴリズムにおける不正確なプロキシティ演算子の計算精度を最適に設定する戦略を特定すること。
• 望ましい解の精度を達成しつつ、合計実行時間を最小化する実用的で効率的なアルゴリズムを開発すること。
• 時間経過に伴って内部精度を高めることが最適性能をもたらすという従来の常識に疑問を呈し、代わりに一定の精度が計算的に優れていることを示すこと。

提案手法

• 外ループが主アルゴリズムを実行し、内ループがプロキシティ演算子の近似を実行する二重ループ構造を持つ不正確なプロキシマル勾配法の全計算コストを分析する。
• 固定された精度制約下で全計算コストを最小化するためのKKTに基づく最適化フレームワークを導出する。この際、内部反復回数を意思決定変数として扱う。
• 各外ループ反復に対して一定の内部反復回数を使用するSIP（Speedy Inexact Proximal-gradient）アルゴリズムを提案する。これにより、実装が簡素化され、オーバーヘッドが低減される。
• 得られた非凸最適化問題を解くためにラグランジュ緩和法を用い、最適な内部反復回数の閉形式表現を導出する。
• コスト関数の凸性およびスケーリング特性により、最適戦略は外ループ反復回数に依存しない一定の内部反復回数を維持することであると示す。
• TV正則化付き画像のぼかし除去問題における数値実験を通じて、理論的考察を検証する。

実験結果

リサーチクエスチョン

• RQ1 不正確なプロキシマル勾配法において、外ループと内ループの計算負荷を最適に割り当てることで、合計実行時間を最小化する最適戦略は何か？
• RQ2 時間経過に伴ってプロキシティ演算子の計算精度を高める戦略は、固定精度戦略よりも計算性能が優れているか？
• RQ3 固定された内部反復回数は、適応的精度戦略に比べて計算効率が高く、解の精度を維持できるか？
• RQ4 内部反復回数の選択が、実際の収束軌道および最終的な解の品質にどのように影響を与えるか？
• RQ5 収束速度と計算コストのバランスを取る最適な内部反復回数について、閉形式の解が存在するか？

主な発見

• 計算コストを最小化する最適戦略は、外ループ反復回数に依存せず、内部反復回数を一定に保つことである。これは、収束速度解析からの直感とは対照的である。
• 提案されたSIPアルゴリズムは、TV正則化付き復元問題における数値実験で、標準的な不正確法よりも速い収束と低い実行時間を達成した。
• 理論的に収束速度が速くなる可能性があるとしても、時間経過に伴って精度を高める戦略よりも、内部反復回数を一定に保つ戦略の方が、合計計算コストが低くなる。
• 最適な内部反復回数は、KKT条件を用いた解析的に導出され、問題のリプシッツ定数と所望の精度に依存する。
• 理論的コストモデルは、異なる戦略の性能を正確に予測でき、SIP戦略はコスト対精度比において常に他の戦略を上回った。
• 適応的戦略と比較して、計算時間の大幅な削減が達成されつつ、同等またはより高い精度の解に収束した。