[논문 리뷰] Robust and structure exploiting optimization algorithms: An integral quadratic constraint approach

Simon Michalowsky, Carsten W. Scherer외 1명|arXiv (Cornell University)|2019. 05. 01.

Advanced Optimization Algorithms Research참고 문헌 34인용 수 8

한 줄 요약

이 논문은 강한 볼록성과 미분 가능성 조건을 만족하는 함수를 위한 경사 기반 알고리즘의 분석 및 설계를 위해 적분 제곱 제약 조건(IQCs)을 사용하는 강력한 최적화 프레임워크를 제안한다. 최적화 동역학을 피드백 시스템으로 모델링함으로써 보장된 수렴 속도와 강건성 확보가 가능하며, 문제의 구조를 활용하여 볼록 최적화 기법을 통해 성능 경계가 보장된 우수한 알고리즘을 설계할 수 있다.

ABSTRACT

We consider the problem of analyzing and designing gradient-based discrete-time optimization algorithms for a class of unconstrained optimization problems having strongly convex objective functions with Lipschitz continuous gradient. By formulating the problem as a robustness analysis problem and making use of a suitable adaptation of the theory of integral quadratic constraints, we establish a framework that allows to analyze convergence rates and robustness properties of existing algorithms and enables the design of novel robust optimization algorithms with prespecified guarantees capable of exploiting additional structure in the objective function.

연구 동기 및 목표

• 보장된 수렴성과 강건성을 갖는 경사 기반 최적화 알고리즘을 분석하고 설계하기 위한 통합 프레임워크를 개발하는 것.
• 목적 함수의 구조적 특성(예: 희소성, 블록 구조 등)을 활용하여 알고리즘 성능을 향상시키는 것.
• 볼록 최적화 도구를 사용하여 수렴 속도와 강건성 마진을 엄밀히 보장하는 것.
• 기존의 IQC 이론을 이산 시간 최적화 동역학으로 확장하여 강건성 분석을 수행하는 것.
• 사전 설정된 수렴 보장을 갖는 새로운 알고리즘을 체계적으로 설계할 수 있도록 하는 것.

제안 방법

• 선형 시간 불변 시스템과 경사 사상의 비선형 연산자로 구성된 피드백 연결 구조로 최적화 알고리즘의 동역학을 수식화한다.
• 적분 제곱 제약 조건(IQC) 이론을 적용하여 닫힌 루프 시스템의 안정성과 수렴성을 분석한다.
• Zames-Falb 및 기타 특수한 IQC 승수를 사용하여 경사의 단조성과 리프시츠 성질을 모델링한다.
• 매개변수화된 IQC 승수를 구성하여 수렴 속도 분석을 위한 볼록 최적화 조건을 유도한다.
• 강건성 분석을 반세미정형 프로그램(SDP)으로 변환하여 최악의 경우 수렴 속도를 계산한다.
• IQC 기반 성능 제약 조건을 사용한 역문제를 풀어 새로운 최적화 알고리즘을 설계한다.

실험 결과

연구 질문

• RQ1 적분 제곱 제약 조건(IQC)은 일阶 최적화 알고리즘의 수렴 속도를 엄밀히 분석하는 데 어떻게 적용될 수 있는가?
• RQ2 강한 볼록성과 리프시츠 연속 경사 조건 하에서 주어진 최적화 알고리즘 클래스에 대해 달성 가능한 최악의 수렴 속도는 무엇인가?
• RQ3 목적 함수의 추가적인 구조(예: 희소성, 블록 구조 등)는 어떻게 활용하여 알고리즘 성능을 향상시킬 수 있는가?
• RQ4 IQC 기반 합성 기법을 사용하여 보장된 수렴 속도를 갖는 새로운 최적화 알고리즘을 체계적으로 설계할 수 있는가?
• RQ5 비인과적 및 FIR Zames-Falb 승수는 수렴 속도 추정치를 어떻게 향상시키는가?

주요 결과

• IQC 프레임워크를 통해 헤비볼트 및 네스테로프 방법과 같은 표준 알고리즘에 대해 엄밀히 날카로운 최악의 수렴 속도를 도출할 수 있다.
• 문제의 특정 구조를 통합함으로써 더 빠른 수렴 속도를 갖는 새로운 최적화 알고리즘을 설계할 수 있다.
• 동일한 프레임워크를 사용하여 경사 오차 또는 교란에 대한 강건성 마진을 정량화하고 최적화할 수 있다.
• 비인과적 및 FIR Zames-Falb 승수의 사용은 기존 방법에 비해 상당히 날카로운 수렴 속도 추정치를 도출한다.
• 분석 및 설계 문제는 모두 볼록 최적화(특히 반세미정형 프로그램)로 환원되어 성능 경계와 알고리즘 매개변수의 효율적 계산이 가능해진다.
• 이 프레임워크는 블록 대각형 또는 희소 헤시안 구조를 갖는 목적 함수와 같은 구조적 목적 함수로도 일반화되어, 향상된 수렴 보장을 제공한다.