[논문 리뷰] Exponential Stability of Primal-Dual Gradient Dynamics with Non-Strong Convexity

Xin Chen, Na Li|arXiv (Cornell University)|2019. 05. 01.

Advanced Optimization Algorithms Research참고 문헌 23인용 수 6

한 줄 요약

이 논문은 비강한 볼록 목적 함수를 가진 볼록 최적화 문제에 대해, 비제로 교차항을 가진 두 가지 새로운 이차 리아푸노프 함수를 도입하여 원시-이중 그래디언트 동역학(PDGD)의 전역 지수 안정성을 확립한다. A가 전행 랭크를 가지는 조건 하에서, 비강한 볼록 성분 $ g $가 이차 함수이거나 행렬 $ B $와 관련된 부등식 조건을 만족할 경우, PDGD의 지수 안정성을 증명한다. 이는 강한 볼록성 조건을 초월하여 PDGD의 안정성 이론을 확장한다.

ABSTRACT

This paper studies the exponential stability of primal-dual gradient dynamics (PDGD) for solving convex optimization problems where constraints are in the form of Ax+By= d and the objective is min f(x)+g(y) with strongly convex smooth f but only convex smooth g. We show that when g is a quadratic function or when g and matrix B together satisfy an inequality condition, the PDGD can achieve global exponential stability given that matrix A is of full row rank. These results indicate that the PDGD is locally exponentially stable with respect to any convex smooth g under a regularity condition. To prove the exponential stability, two quadratic Lyapunov functions are designed. Lastly, numerical experiments further complement the theoretical analysis.

연구 동기 및 목표

• 모든 변수에서 강한 볼록성이 보장되지 않는 목적 함수에 대해 원시-이중 그래디언트 동역학(PDGD)의 전역 지수 안정성을 확립하는 것.
• 목적 함수의 일부에서 강한 볼록성이 없더라도 PDGD가 여전히 지수 안정성을 유지할 수 있는 충분조건을 규명하는 것.
• 특히 전력 시스템 및 자원 할당과 같은 분야에서 강한 볼록 목적 함수를 초월한 PDGD의 이론적 안정성 보장을 확장하는 것.
• 약화된 볼록성 가정 하에서도 지수 안정성을 증명하기 위해 비제로 교차항을 가진 두 개의 이차 리아푸노프 함수를 설계하는 것.
• 일반적인 매끄러운 볼록 함수 $ g $에 대해 정규성 조건 하에서 국소 지수 안정성을 확보하여 적용 범위를 넓히는 것.

제안 방법

• 강한 볼록성은 보장되나 $ g $는 단지 볼록성만 보장되는 등차원 제약 조건이 있는 볼록 최적화 문제를 해결하기 위해 연속 시간 원시-이중 그래디언트 동역학(PDGD)을 제안한다.
• 원시, 이중, 슬랙 변수 간의 교차항을 포함한 두 개의 이차 리아푸노프 함수를 설계하여 안정성 분석을 수행한다.
• 스푸르 컴플리멘트와 행렬 부등식을 사용하여 리아푸노프 함수 내의 헤시안 유사 행렬의 정정규성을 증명함으로써 지수 감쇠를 보장한다.
• $ \|B\| $와 $ g $의 헤시안이 특정 부등식 조건을 만족하도록 $ g $와 $ B $에 조건을 도입함으로써 지수 안정성을 가능하게 한다.
• 스펙트럼 분석과 행렬 랭크 조건(행렬 $ A $의 전행 랭크)을 적용하여 평형점의 유일성과 안정성을 확보한다.
• 비강한 볼록 성분을 포함하는 최적화 문제에 대한 수치 실험을 통해 이론적 결과를 검증한다.

실험 결과

연구 질문

• RQ1 목적 함수가 모든 변수에서 강한 볼록성이 없을 경우, 원시-이중 그래디언트 동역학이 전역 지수 안정성을 달성할 수 있는 조건은 무엇인가?
• RQ2 강한 볼록성이 없더라도 $ g $가 이차 함수일 경우 지수 안정성이 유지될 수 있는가?
• RQ3 $ g $와 $ B $에 대한 행렬 및 함수 조건은 무엇이어야 PDGD의 전역 지수 안정성을 보장할 수 있는가?
• RQ4 정규성 조건 하에서 일반적인 매끄러운 볼록 함수 $ g $에 대해 국소 지수 안정성이 달성 가능한가? 강한 볼록성이 없더라도 가능한가?
• RQ5 비제로 교차항을 가진 제안된 리아푸노프 함수는 기존 방법에 비해 더 강력한 안정성 분석을 어떻게 가능하게 하는가?

주요 결과

• A가 전행 랭크를 가지는 한, $ g $가 이차 함수일 경우 PDGD는 전역 지수 안정성을 확보한다.
• 비강한 볼록성일지라도 $ g $와 $ B $가 특정 행렬 부등식 조건을 만족할 경우, 전역 지수 안정성이 유지된다.
• 제안된 조건 하에서 PDGD의 평형점은 유일하여 유일한 해로 수렴함을 보장한다.
• 모든 매끄러운 볼록 함수 $ g $에 대해 정규성 조건 하에서 국소 지수 안정성이 확립되어 더 넓은 문제 클래스로의 적용 가능성을 넓힌다.
• 제안된 리아푸노프 함수는 비제로 교차항을 가진 이차 함수이며, 기존 접근법에 비해 더 날카운 안정성 분석이 가능하다.
• 수치 실험을 통해 이론적 안정성 보장을 확인하였고, 유도된 조건 하에서 선형 수렴 속도를Demonstrated한다.