[논문 리뷰] ADMM for Convex Quadratic Programs: Linear Convergence and Infeasibility Detection

Arvind U. Raghunathan, Stefano Di Cairano|arXiv (Cornell University)|2015. 01. 01.

Advanced Optimization Algorithms Research참고 문헌 46인용 수 23

한 줄 요약

이 논문은 약간의 가정 하에 선형 등식 제약과 경계 제약을 가진 볼록 2차 계획 문제에 대해 ADMM의 선형 수렴성을 확립한다. 감소된 헤시안 고유값, 프리드리히스 각도, 경계로부터의 거리에 따라 의존하는 명시적 수렴 속도를 유도하며, 최적의 스텝 사이즈와 비가능성 탐지 기준을 제공한다.

ABSTRACT

In this paper, we analyze the convergence of Alternating Direction Method of Multipliers (ADMM) on convex quadratic programs (QPs) with linear equality and bound constraints. The ADMM formulation alternates between an equality constrained QP and a projection on the bounds. Under the assumptions of: (i) positive definiteness of the Hessian of the objective projected on the null space of equality constraints (reduced Hessian), and (ii) linear independence constraint qualification holding at the optimal solution we derive an upper bound on the rate of convergence to the solution at each iteration. In particular, we provide an explicit characterization of the rate of convergence in terms of: (a) the eigenvalues of the reduced Hessian, (b) the cosine of the Friedrichs angle between the subspace spanned by equality constraints and the subspace spanned by the gradients of the components that are active at the solution and (c) the distance of the inactive components of solution from the bounds. Using this analysis we show that if the QP is feasible, the iterates converge at a Q-linear rate and prescribe an optimal setting for the ADMM step-size parameter. For infeasible QPs, we show that the primal variables in ADMM converge to minimizers of the Euclidean distance between the hyperplane defined by the equality constraints and the convex set defined by the bounds. The multipliers for the bound constraints are shown to diverge along the range space of the equality constraints. Using this characterization, we also propose a termination criterion for ADMM. Numerical examples are provided to illustrate the theory through experiments.

연구 동기 및 목표

• 선형 등식 제약과 경계 제약을 가진 볼록 2차 계획 문제에서 ADMM의 수렴 행동을 분석하는 것.
• ADMM가 최적 해로 선형 수렴하는 조건을 확립하는 것.
• 문제에 특화된 기하학적 및 스펙트럼적 성질에 따라 수렴 속도를 특성화하는 것.
• ADMM 반복을 이용한 QPs의 비가능성 탐지용 종료 기준을 개발하는 것.
• 가장 빠른 가능한 수렴 속도를 보장하는 최적의 스텝 사이즈 파rameter 설정을 제공하는 것.

제안 방법

• 등식 제약이 있는 QP와 경계 투영 사이의 번갈아 가는 최소화로 ADMM를 공식화하는 것.
• 등식 제약의 영공간에 투영된 감소한 헤시안을 사용해 수렴성을 분석하는 것.
• 감소한 헤시안의 고유값과 제약 조건 및 활성 기울기 부분공간 간의 프리드리히스 각도余현수를 사용해 수렴 속도를 유도하는 것.
• 비활성 변수들이 경계에서 떨어진 거리를 감안해 수렴 속도 표현식에 통합하는 것.
• QP가 비가능한 경우 ADMM 반복의 극한 행동을 특성화하여, 원시 변수가 등식 제약 초평면과 경계집합 사이의 유클리드 거리의 최소화점을 수렴함을 보이는 것.
• 등식 제약 행렬의 범위 공간을 따라 경계 승수의 발산에 기반한 종료 기준을 수립하는 것.

실험 결과

연구 질문

• RQ1 선형 등식 제약과 경계 제약을 가진 볼록 QPs에 대해 ADMM의 Q-선형 수렴을 보장하는 조건은 무엇인가요?
• RQ2 수렴 속도가 감소한 헤시안, 프리드리히스 각도, 그리고 경계에의 가까이에 따라 어떻게 달라지나요?
• RQ3 수렴 속도를 최소화할 수 있는 최적의 스텝 사이즈 파rameter를 유도할 수 있는가요?
• RQ4 QP가 비가능한 경우 ADMM 반복은 어떻게 되나요?
• RQ5 비가능성 탐지에 기반한 신뢰할 수 있는 종료 기준을 구성할 수 있는가요?

주요 결과

• 감소한 헤시안의 정정규성과 선형 독립 제약 조건 충족 조건 하에, ADMM는 최적 해로 Q-선형으로 수렴한다.
• 수렴 속도는 감소한 헤시안의 고유값, 프리드리히스 각도의余현수, 비활성 변수들이 경계에서 떨어진 거리의 함수로 명시적으로 경계된다.
• 최악의 수렴 속도를 최소화하는 최적의 스텝 사이즈 파rameter가 도출되었다.
• 비가능한 QPs의 경우, 원시 변수는 등식 제약 초평면과 경계집합 사이의 유클리드 거리의 최소화점을 수렴한다.
• 경계 제약의 승수는 등식 제약 행렬의 범위 공간을 따라 발산하며, 이는 비가능성 탐지에 기여한다.
• 경계 승수의 발산과 원시 반복의 행동에 기반한 실용적인 종료 기준이 제안되었다.