[논문 리뷰] Computer-Assisted Design of Accelerated Composite Optimization Methods: OptISTA

Uijeong Jang, Shuvomoy Das Gupta외 1명|arXiv (Cornell University)|2023. 05. 25.

Advanced Optimization Algorithms Research인용 수 4

한 줄 요약

이 논문은 복합 볼록 최적화 문제에 대해 FISTA보다 2배 빠른 수렴 속도를 달성하는 새로운 1차 최적화 방법인 OptISTA를 소개한다. 저자들은 비볼록 QCQP로 표현된 이중 함수 단계 크기 최적화 성능 평가 문제(PEP)를 개발함으로써, 공간 분할 및 구간 탐색을 이용한 OptISTA 설계를 수행하고, 복합 설정에 대한 새로운 반화된 영점 체인 구성의 확장 방법을 통해 정확한 최적성의 증명을 수립한다.

ABSTRACT

The accelerated composite optimization method FISTA (Beck, Teboulle 2009) is suboptimal by a constant factor, and we present a new method OptISTA that improves FISTA by a constant factor of 2. The performance estimation problem (PEP) has recently been introduced as a new computer-assisted paradigm for designing optimal first-order methods. In this work, we present a double-function stepsize-optimization PEP methodology that poses the optimization over fixed-step first-order methods for composite optimization as a finite-dimensional nonconvex QCQP, which can be practically solved through spatial branch-and-bound algorithms, and use it to design the exact optimal method OptISTA for the composite optimization setup. We then establish the exact optimality of OptISTA under the large-scale assumption with a lower-bound construction that extends the semi-interpolated zero-chain construction (Drori, Taylor 2022) to the double-function setup of composite optimization. By establishing exact optimality, our work concludes the search for the fastest first-order methods, with respect to the performance measure of worst-case function value suboptimality, for the proximal, projected-gradient, and proximal-gradient setups involving a smooth convex function and a closed proper convex function.

연구 동기 및 목표

• 비제약 조건과 복합 1차 최적화 방법 간의 수렴 속도 격차를 해소하기 위해 복합 문제를 위한 최적 알고리즘을 설계하는 것.
• 이전에 단일 함수, 비제약 조건 설정에 국한되어 있던 성능 평가 문제(PEP) 프레임워크를 두 함수를 포함한 복합 최적화로 확장하는 것.
• 고정 단계 크기 1차 최적화 방법에서 최적 단계 크기 선택의 비볼록 QCQP 공식화를 해결하기 위한 실용적인 계산 방법을 개발하는 것.
• 제안된 방법의 정확한 최적성을 증명하기 위해 상한과 정확히 일치하는 새로운 하한을 구성하는 것.
• FISTA 또는 투영된 경사하강법이 OGM이 비제약 조건에서처럼 2배로 향상될 수 있는지 여부라는 열린 문제를 해결하는 것.

제안 방법

• 이중 함수 PEP 프레임워크를 사용하여 복합 볼록 최적화를 위한 최적 고정 단계 크기 1차 최적화 방법의 설계를 유한 차원의 비볼록 2차 제약 조건을 가진 2차 프로그래밍(QCQP)으로 공식화하는 것.
• 결과로 생긴 비볼록 QCQP를 해결하기 위해 공간 분할 및 구간 탐색 알고리즘을 적용하여 최적 단계 크기 시퀀스의 실용적 계산을 가능하게 하는 것.
• PEP 프레임워크 하에서 프록시멀 방법의 행동을 모델링하기 위해 새로운 프록시멀 영점 존중 시퀀스 구성 방법을 도입하는 것.
• 반화된 보간 영점 체인 하한 구성 방법을 복합 최적화의 이중 함수 설정으로 확장하여 정확한 최적성 증명을 가능하게 하는 것.
• 일반적인 복합 문제를 영점 존중 시퀀스로 환원하기 위해 직교 행렬 임bedding을 사용하여 하한 분석에 필요한 구조를 유지하는 것.
• 최적 방법 OptISTA가 상한과 하한을 정확히 일치시킴으로써 가장 빠른 가능한 수렴 속도를 달성함을 증명하는 것.

실험 결과

연구 질문

• RQ1 PEP 방법론은 단일 함수, 비제약 조건 최적화에서 복합 최적화 문제(두 함수 포함)로 확장될 수 있는가?
• RQ2 비제약 조건에서 OGM과 유사하게 FISTA보다 2배 빠른 수렴 속도를 달성하는 복합 문제를 위한 1차 방법을 설계할 수 있는가?
• RQ3 복합 설정에서 새로운 최적 방법의 상한과 정확히 일치하는 하한 구성 방법을 개발할 수 있는가?
• RQ4 제안된 방법 OptISTA는 프록시멀-그라디언트 및 투영된 그라디언트 설정에서 가장 빠른 수렴 속도를 달성하는가?
• RQ5 성능 평가 문제(Peformance Estimation Problem)는 복합 최적화에 내재된 비미분 가능성과 비볼록성 구조를 다룰 수 있도록 적응될 수 있는가?

주요 결과

• OptISTA는 복합 볼록 최적화 문제에서 FISTA보다 정확히 2배 더 빠른 수렴 속도를 달성한다.
• 제안된 이중 함수 PEP 공식화는 고정 단계 크기 1차 최적화 방법을 비볼록 QCQP로 모델링하며, 공간 분할 및 구간 탐색를 통해 해결 가능하다.
• 반화된 보간 영점 체인을 기반으로 한 새로운 하한 구성 방법이 이중 함수 복합 설정으로 확장되어 정확한 최적성 증명이 가능해졌다.
• OptISTA의 상한과 하한이 정확히 일치함으로써 OptISTA가 프록시멀-그라디언트 및 투영된 그라디언트 설정에서 가장 빠른 가능한 1차 최적화 방법임을 증명한다.
• 오랫동안 열려 있던 FISTA가 2배로 향상될 수 있는지 여부라는 문제를 해결하였으며, 그러한 속도 향상이 실현 가능하고 최적임을 확인하였다.
• 이 연구는 PEP를 통한 컴퓨터 지원 설계가 비제약 조건, 단일 함수 문제를 초월하여 일반적인 복합 최적화 문제로 성공적으로 확장될 수 있음을 보여준다.