[논문 리뷰] Time-Varying Convex Optimization: A Contraction and Equilibrium Tracking Approach

Alexander A. Davydov, Veronica Centorrino외 3명|arXiv (Cornell University)|2023. 05. 24.

Advanced Optimization Algorithms Research인용 수 7

한 줄 요약

이 논문은 연속시간 변동형 볼록 최적화 문제를 위한 수축 이론적 프레임워크를 제안하며, 해 궤적과 시간에 따라 변화하는 최적 궤적 사이의 추적 오차가 수축률, 매개변수 리프시츠 상수, 매개변수 변화율에 의해 균일하게 유계임을 증명한다. 또한, 단조성 포함, 등식 제약 최적화, 복합 최소화의 세 가지 표준 문제에 대해 날카로운 수축률과 명시적 오차 한계를 수립한다.

ABSTRACT

In this article, we provide a novel and broadly-applicable contraction-theoretic approach to continuous-time time-varying convex optimization. For any parameter-dependent contracting dynamics, we show that the tracking error is asymptotically proportional to the rate of change of the parameter and that the proportionality constant is upper bounded by Lipschitz constant in which the parameter appears divided by the contraction rate of the dynamics squared. We additionally establish that augmenting any parameter-dependent contracting dynamics with a feedforward prediction term ensures that the tracking error vanishes exponentially quickly. To apply these results to time-varying convex optimization, we establish the strong infinitesimal contractivity of dynamics solving three canonical problems: monotone inclusions, linear equality-constrained problems, and composite minimization problems. For each case, we derive the sharpest-known contraction rates and provide explicit bounds on the tracking error between solution trajectories and minimizing trajectories. We validate our theoretical results on two numerical examples and on an application to control barrier function-based controller design that involves real hardware.

연구 동기 및 목표

• 연속시간 동적 시스템을 이용해 시간에 따라 변화하는 볼록 최적화 문제에서 최적 해를 추적하는 데 도전 과제를 다루기.
• 해의 도함수에 대한 지식이 없이도 해 궤적과 시간에 따라 변화하는 평형 궤적 사이의 추적 오차를 유계로 제한하는 일반적 프레임워크를 개발하기.
• 단조성 포함, 선형 등식 제약 문제, 복합 최소화의 세 가지 표준 볼록 최적화 문제를 해결하는 동적 시스템에 대해 강력한 무한소 수축성을 확립하기.
• 수축률, 매개변수 리프시츠 상수, 매개변수 변화율과 같은 측정 가능한 시스템 매개변수에만 의존하는 명시적이고 날카로운 수축률과 오차 한계를 제공하기.
• 수축 시스템의 본질적 성질을 활용하여 노이즈와 시간 지연에 대한 강건성을 확보하기.

제안 방법

• 매개변수에 의존하는 수축 시스템에서 추적 오차를 상한으로 제한하는 일반 정리(정리 3.3)를 제안하며, 이는 수축률, 매개변수 리프시츠 상수, 매개변수 변화율을 사용한다.
• 일반 정리를 단조성 포함, 등식 제약 최적화, 복합 최소화의 세 가지 표준 볼록 최적화 문제에 적용하며, 전진-후진 분할과 원-이중 동적 시스템을 통해 구현한다.
• 리아푸노프 기반 분석과 행렬 부등식 기법을 사용하여 각 문제 유형에 대해 명시적이고 날카로운 수축률을 유도한다.
• 직교 분해와 고유값 분석을 활용하여 동적 시스템의 자코비안에 있는 헤시안과 곡률 항을 유계로 제한함으로써 강력한 무한소 수축성을 확보한다.
• 스푸르 컴플리멘트와 행렬 부등식 변환(예: 보조정리 10.32)을 사용하여 수축을 위한 행렬 부등식 조건의 정정규성(positive definiteness)을 검증한다.
• 리아푸노프 함수 후보를 구성하고 최적의 매개변수 선택 조건 하에서 그 도함수가 음의 정부호임을 증명함으로써 지수 수렴성과 강건성을 보장한다.

실험 결과

연구 질문

• RQ1 평형 궤적의 도함수에 대한 지식이 없이도, 해 궤적과 시간에 따라 변화하는 최적 궤적 사이의 추적 오차에 대해 일반적인 상한을 유도할 수 있는가?
• RQ2 연속시간 동적 시스템이 단조성 포함, 등식 제약 문제, 복합 최소화 문제를 해결할 때 가능한 가장 날카로운 수축률은 무엇인가?
• RQ3 수축률, 매개변수 리프시츠 상수, 매개변수 변화율과 같은 측정 가능한 시스템 매개변수에 대해 추적 오차를 명시적으로 유계로 제한할 수 있는가?
• RQ4 제안된 프레임워크는 시간에 따라 변화하는 최적화 환경에서 노이즈와 시간 지연에 대해 강건성을 확보할 수 있는가?
• RQ5 각 표준 문제 유형에 대해 강력한 무한소 수축성과 최소 추적 오차를 보장하는 최적의 매개변수 선택은 무엇인가?

주요 결과

• 어느 해 궤적과 시간에 따라 변화하는 평형 궤적 사이의 추적 오차는 수축률, 매개변수 의존성의 리프시츠 상수, 매개변수 변화율의 함수로 균일하게 상한이 제시된다.
• 단조성 포함 문제의 경우, 제안된 전진-후진 분할 동적 시스템은 문제의 단조성과 리프시츠 매개변수에 따라 의존하는 날카로운 수축률을 갖는 강력한 무한소 수축성을 달성한다.
• 선형 등식 제약 문제의 경우, 원-이중 동적 시스템이 강력한 무한소 수축성을 갖는 것으로 밝혀졌으며, 추적 오차는 매개변수 변화율에 비례하고 수축률의 역수에 비례하는 항으로 유계로 제한된다.
• 복합 최소화 문제의 경우, 수축률은 매끄럽기 정도와 강력 볼록성 매개변수의 함수로 명시적으로 유도되며, 이로 인해 추적 오차 한계는 매개변수 변화율의 제곱근에 비례한다.
• 분석 결과, 제안된 동적 시스템은 강력한 무한소 수축 성질 덕분에 외란과 시간 지연에 대해 강건함을 확인하였다.
• 수치적 검증을 통해 이론적 오차 한계의 날카로움이 두 테스트 케이스 전반에서 확인되었으며, 유도된 추정치의 실용적 관련성을 확인하였다.