[論文レビュー] Computer-Assisted Design of Accelerated Composite Optimization Methods: OptISTA

Uijeong Jang, Shuvomoy Das Gupta+1 more|arXiv (Cornell University)|May 25, 2023

Advanced Optimization Algorithms Research被引用数 4

ひとこと要約

本稿では、合成凸最適化問題におけるFISTAより2倍の加速を達成する、新しい1次最適化手法OptISTAを提案する。著者らは、非凸なQCQPとして定式化された二関数ステップサイズ最適化性能評価問題（PEP）を用い、空間分枝限定法を用いてOptISTAを設計し、合成設定への半インタポールドゼロチェーン構成の新規拡張を用いてその正確な最適性を確立した。

ABSTRACT

The accelerated composite optimization method FISTA (Beck, Teboulle 2009) is suboptimal by a constant factor, and we present a new method OptISTA that improves FISTA by a constant factor of 2. The performance estimation problem (PEP) has recently been introduced as a new computer-assisted paradigm for designing optimal first-order methods. In this work, we present a double-function stepsize-optimization PEP methodology that poses the optimization over fixed-step first-order methods for composite optimization as a finite-dimensional nonconvex QCQP, which can be practically solved through spatial branch-and-bound algorithms, and use it to design the exact optimal method OptISTA for the composite optimization setup. We then establish the exact optimality of OptISTA under the large-scale assumption with a lower-bound construction that extends the semi-interpolated zero-chain construction (Drori, Taylor 2022) to the double-function setup of composite optimization. By establishing exact optimality, our work concludes the search for the fastest first-order methods, with respect to the performance measure of worst-case function value suboptimality, for the proximal, projected-gradient, and proximal-gradient setups involving a smooth convex function and a closed proper convex function.

研究の動機と目的

• 非制約と合成の1次最適化手法の収束速度のギャップを埋めるために、合成問題のための最適なアルゴリズムを設計すること。
• 従来、単一関数・非制約設定に限られていた性能評価問題（PEP）フレームワークを、2つの関数を含む合成最適化に拡張すること。
• 固定ステップサイズ1次最適化手法における最適ステップサイズ選択の非凸QCQP定式化を解くための実用的な計算手法を開発すること。
• 提案手法の正確な最適性を、上界と一致する新規な下界構成により確立すること。
• FISTA や投影勾配法が、非制約ケースにおけるOGMと同様に2倍の改善が可能かどうかという未解決問題を解消すること。

提案手法

• 二関数PEPフレームワークを用いて、合成凸最適化のための最適固定ステップサイズ1次最適化手法の設計を、有限次元の非凸二次制約二次プログラム（QCQP）として定式化する。
• 得られた非凸QCQPを解くために空間分枝限定法アルゴリズムを適用し、最適ステップサイズ系列の実用的計算を可能にする。
• PEPフレームワーク下でのプロキシマル手法の挙動をモデル化するため、新規なプロキシマルゼロ尊重系列構成を導入する。
• 半インタポールドゼロチェーン下界構成を、合成最適化の二関数設定に拡張し、正確な最適性認証を可能にする。
• 直交行列埋め込みを用いて一般の合成問題をゼロ尊重系列に還元し、下界解析に必要な構造を保持する。
• 最適手法OptISTAが上界と下界を正確に一致させることを証明し、それがプロキシマル勾配および投影勾配設定において最速の収束速度を達成することを示す。

実験結果

リサーチクエスチョン

• RQ1 PEP手法は、単一関数・非制約最適化から、2つの関数を含む合成最適化問題に拡張可能か？
• RQ2 非制約ケースにおけるOGMと同様に、FISTAより2倍の加速を達成する合成問題のための1次最適化手法を設計可能か？
• RQ3 合成設定における新規な下界構成を開発し、新規最適手法の上界と正確に一致させられるか？
• RQ4 提案手法OptISTAは、プロキシマル勾配および投影勾配設定において、最も速い収束速度を達成するか？
• RQ5 性能評価問題は、合成最適化に内在する非滑らかで非凸な構造を扱えるように適応可能か？

主な発見

• OptISTAは、合成凸最適化問題においてFISTAよりも正確に2倍速い収束速度を達成する。
• 提案された二関数PEP定式化は、固定ステップサイズ1次最適化手法を非凸QCQPとして正確にモデル化でき、空間分枝限定法により解けることを示した。
• 半インタポールドゼロチェーンに基づく新規な下界構成を二関数合成設定に拡張し、正確な最適性認証を可能にした。
• 上界（OptISTA）と下界の正確な一致により、OptISTAがプロキシマル勾配および投影勾配設定において、最も速い可能性のある1次最適化手法であることが証明された。
• FISTAが2倍の改善が可能かどうかという長年の未解決問題を解消し、そのような高速化が実現可能かつ最適であることを確認した。
• 本研究は、PEPによるコンピュータ支援設計が、非制約的・単一関数問題を越えて一般の合成最適化へも成功裏に拡張可能であることを示した。