[論文レビュー] Improving "Fast Iterative Shrinkage-Thresholding Algorithm": Faster, Smarter and Greedier

Jingwei Liang, Tao Luo+1 more|arXiv (Cornell University)|Nov 4, 2018

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

本稿では、遅延開始戦略および適応的／グリーディな加速ルールを組み込んだ変更版FISTAアルゴリズムを提案し、シーケンスの収束を保証しながら実用的収束速度を顕著に向上させた。新規スキームは標準FISTAおよびFISTA-BTを上回り、グリーディなバージョンでは特定の問題で最大10倍の高速化を達成した。

ABSTRACT

The "fast iterative shrinkage-thresholding algorithm", a.k.a. FISTA, is one of the most well-known first-order optimisation scheme in the literature, as it achieves the worst-case $O(1/k^2)$ optimal convergence rate in terms of objective function value. However, despite such an optimal theoretical convergence rate, in practice the (local) oscillatory behaviour of FISTA often damps its efficiency. Over the past years, various efforts are made in the literature to improve the practical performance of FISTA, such as monotone FISTA, restarting FISTA and backtracking strategies. In this paper, we propose a simple yet effective modification to the original FISTA scheme which has two advantages: it allows us to 1) prove the convergence of generated sequence; 2) design a so-called "lazy-start" strategy which can up to an order faster than the original scheme. Moreover, by exploring the properties of FISTA scheme, we propose novel adaptive and greedy strategies which probes the limit of the algorithm. The advantages of the proposed schemes are tested through problems arising from inverse problem, machine learning and signal/image processing.

研究の動機と目的

• FISTAの実用的非効率性（最適なO(1/k²)収束レートを有しながらも、振動的挙動を示すこと）を是正する。
• 標準FISTAにおけるシーケンス収束の欠如を克服するため、保証された収束性を有する修正スキームを導入する。
• 収束保証を損なわずに初期反復における収束を加速するための「遅延開始」戦略を開発する。
• 局所的な問題特性に応じて動的に反応する適応的およびグリーディなステップサイズ戦略を設計し、性能を向上させる。
• 逆問題、機械学習、画像処理分野の実世界問題に対して、提案スキームを評価する。

提案手法

• 生成されるシーケンスの収束を保証する新しい更新ルールを導入した、FISTAの修正スキームを提案する。標準FISTAとは異なり、これは収束を保証する。
• 反復が安定するまで積極的なモーメンタムの使用を延期する「遅延開始」戦略を提案する。これにより初期の振動が低減される。
• 目的関数の局所的曲率を調査する適応的およびグリーディなステップサイズルールを設計し、収束を加速する。
• 収束を維持しながら実用的スピードを向上させるために、修正FISTAにバックトラッキングラインサーチを統合する。
• 非滑らか構造の最適化問題を取り扱うために、近位作用素およびインertial前進後退分割法を用いる。
• ℓ∞-ノルム、全変動、スパースロジスティック回帰、主成分プルーリングを含む問題に対して、アルゴリズムを実装およびテストする。

実験結果

リサーチクエスチョン

• RQ1 生成されるシーケンスの収束を保証しつつ、高速収束レートを維持できるFISTAの修正スキームを設計できるか？
• RQ2 遅延開始戦略は収束保証を損なわず、FISTAの実用的性能をどのように向上させることができるか？
• RQ3 適応的およびグリーディなステップサイズルールは、非滑らか最適化におけるFISTAの収束速度をどの程度向上させられるか？
• RQ4 FISTA-BTおよび単調FISTAと比較して、提案スキームは異なる問題クラスにおいて収束速度およびロバスト性の面でどの程度優れているか？
• RQ5 提案スキームは画像処理や機械学習などの実世界応用で顕著な高速化を達成できるか？

主な発見

• ℓ∞-ノルム問題において、高精度（‖xₖ − x*‖ ≤ 10⁻¹⁰）が求められる場合、提案された遅延開始FISTA-ModはFISTA-BTに比べ10倍以上高速な収束を達成した。
• 適応的およびグリーディなFISTAバージョンは、全テスト問題において標準FISTAおよびFISTA-BTを一貫して上回り、グリーディFISTAは全実験で最速であった。
• 修正FISTAスキームはシーケンスの収束を保証し、元のFISTAアルゴリズムの主要な制限を解消した。
• 遅延開始戦略は初期の振動を効果的に低減し、特に初期段階で進行が遅い問題において収束を加速した。
• スパースロジスティック回帰および主成分プルーリングに関する数値結果から、提案スキームは高い精度を維持しながら反復回数を顕著に削減することが確認された。
• 遅延開始FISTA-Modの性能は、リスタートを用いた適応的スキームと非常に近い水準であり、実用的実現可能性が強いことを示唆した。