[論文レビュー] Adaptive Fista

Peter Ochs, Thomas Pock|arXiv (Cornell University)|Nov 12, 2017

Numerical methods in inverse problems被引用数 2

ひとこと要約

本稿では、非凸設定における収束を改善するために、正確または不正確なラインサーチを用いて補外パラメータを動的に最適化する、適応的補外付きプロキシマル勾配法であるAdaptive FISTAを提案する。この手法は、特定の条件下でSR1型プロキシマル準ニュートン法のクラスと数学的に同等であり、一般非凸問題における両者の収束保証を新たに確立した。

ABSTRACT

In this paper we propose an adaptively extrapolated proximal gradient method, which is based on the accelerated proximal gradient method (also known as FISTA), however we locally optimize the extrapolation parameter by carrying out an exact (or inexact) line search. It turns out that in some situations, the proposed algorithm is equivalent to a class of SR1 (identity minus rank 1) proximal quasi-Newton methods. Convergence is proved in a general non-convex setting, and hence, as a byproduct, we also obtain new convergence guarantees for proximal quasi-Newton methods. The efficiency of the new method is shown in numerical experiments on a sparsity regularized non-linear inverse problem.

研究の動機と目的

• 非凸最適化問題を解くための、FISTAアルゴリズムのより効率的で適応的な変種を開発すること。
• 加速プロキシマル勾配法における固定またはヒューリスティックな補外パラメータの制限を解消すること。
• 一般非凸設定における収束を確立し、理論的保証をより広い問題クラスに拡張すること。
• 適応的パラメータ選択を通じて、特にSR1型更新を含むプロキシマル準ニュートンアプローチと本手法を結びつけること。
• スパarsity制約を伴う実世界の非線形逆問題において、本手法の実用的効率を示すこと。

提案手法

• 反復毎に、正確または不正確なラインサーチを用いて補外パラメータを適応的に調整することで収束を改善する。
• FISTAフレームワークを基盤としながらも、固定またはバックトラッキングによる補外を、降下条件に基づく局所最適化されたパラメータに置き換える。
• ラインサーチにより目的関数の十分な減少を保証し、加速と安定性のバランスを取る。
• アルゴリズムはプロキシマル勾配構造を維持しつつ、適応的パラメータを介して曲率情報を組み込む。
• 特定の条件下で、本手法がSR1型プロキシマル準ニュートン法のクラスと数学的に同等であることが示された。
• 一般非凸設定における収束が証明され、新アルゴリズムおよび関連する準ニュートンアプローチの理論的有効性が拡張された。

実験結果

リサーチクエスチョン

• RQ1 適応的ラインサーチ戦略は、非凸最適化におけるFISTAの収束性とロバスト性を向上させ得るか？
• RQ2 実際の応用において、適応的補外パラメータ選択は固定またはバックトラッキング戦略と比較してどのように異なるか？
• RQ3 提案手法とSR1型準ニュートン法との間の理論的関係は何か？
• RQ4 どのような条件下で、適応的FISTA手法は非凸設定でも収束を維持するか？
• RQ5 標準FISTAと比較して、本手法はスパース非線形逆問題においてより優れた性能を達成できるか？

主な発見

• 提案されたAdaptive FISTA手法は、標準FISTAと比較して非凸最適化問題において改善された収束行動を示した。
• 一般非凸設定における収束が厳密に証明され、アルゴリズムに対する新たな理論的保証が得られた。
• 特定の条件下で、本手法はSR1型プロキシマル準ニュートン法のクラスと数学的に同等である。
• 解析の副産物として、プロキシマル準ニュートン法に対しても新たな収束保証が確立された。
• 数値実験により、スパース正則化非線形逆問題におけるAdaptive FISTAの効率性が実証され、ベースライン手法に実用的利点を示した。