[논문 리뷰] Convergence rate bounds for a proximal ADMM with over-relaxation stepsize parameter for solving nonconvex linearly constrained problems

Max L. N. Gonçalves, Jefferson G. Melo외 1명|arXiv (Cornell University)|2017. 02. 07.

Sparse and Compressive Sensing Techniques참고 문헌 26인용 수 34

한 줄 요약

이 논문은 비볼록 선형 제약 조건이 있는 문제에 대해 과잉완화 파rameter θ ∈ (0,2)를 가진 프록시멀 ADMM 변종에 대해 O(ρ⁻²)의 점별 반복 복잡도 상한을 설정한다. 표준 (0, (1+√5)/2) 범위를 초월하여 수렴 속도 분석을 확장하며, f(비볼록, 하부 연속), g(리프시츠 연속 기울기를 가진 미분 가능)에 대한 완화된 가정 하에 전역 수렴성과 복잡도를 증명한다.

ABSTRACT

This paper establishes convergence rate bounds for a variant of the proximal alternating direction method of multipliers (ADMM) for solving nonconvex linearly constrained optimization problems. The variant of the proximal ADMM allows the inclusion of an over-relaxation stepsize parameter belonging to the interval $(0,2)$. To the best of our knowledge, all related papers in the literature only consider the case where the over-relaxation parameter lies in the interval $(0,(1+\sqrt{5})/2)$.

연구 동기 및 목표

• 비볼록 설정에서 과잉완화 파arameter θ > (1+√5)/2를 가진 프록시멀 ADMM에 대한 수렴 속도 상한이 부족한 점을 해결한다.
• f가 적절하고 하부 연속이며, g가 리프시츠 연속 기울기를 가진 미분 가능 함수인 비볼록 문제로 반복 복잡도 분석을 확장한다.
• 벌점수 파arameter β와 프록시멀 항 G, H에 대한 완화된 가정 하에 점별 반복 복잡도 상한을 제공한다.
• 과잉완화된 ADMM를 사용하여 더 광범위한 비볼록 선형 제약 최적화 문제의 전역 수렴성과 복잡도를 확립한다.
• 이전 문헌에서 비볼록 문제에 대해 다루지 못한 θ ∈ (0,2) 범위에서 O(ρ⁻²) 복잡도를 증명함으로써 이론적 격차를 메운다.

제안 방법

• 과잉완화 파arameter θ ∈ (0,2)를 가진 프록시멀 ADMM 변종을 제안하며, 하위문제의 안정화를 위해 프록시멀 항 G와 H를 통합한다.
• 비볼록 f에 대해 확장된 부분미분 개념을 사용하여 볼록성 없이도 최적성 조건을 수립할 수 있도록 한다.
• 초기값과 이중 변수의 반복값을 포함하는 리아푸노프 유사 함수를 정의하여 진행 상황을 추적하고 수렴성을 확립한다.
• 리아푸노프 함수에 대해 텔레스코프 합 추론을 적용하여 이중 변수 차이의 노름에 대한 상한을 유도한다.
• 행렬 노름 부등식과 스펙트럼 상한(예: B*B에 대한 σ₊(B))을 사용하여 반복 간 오차 전파를 제어한다.
• 평균화 추론을 통해 점별 복잡도를 도출하고, 첫 k회 반복 내에서 ρ-최적성 조건을 만족하는 양호한 반복값이 존재함을 보인다.

실험 결과

연구 질문

• RQ1 비볼록 문제에서 과잉완화 파arameter θ > (1+√5)/2를 가진 프록시멀 ADMM에 대해 수렴 속도 상한을 설정할 수 있는가?
• RQ2 f, g, β, G, H, θ에 대한 어떤 조건이 전역 수렴성과 O(ρ⁻²) 점별 반복 복잡도를 보장하는가?
• RQ3 비볼록 설정에서 과잉완화 θ ∈ (0,2)의 포함이 표준 ADMM에 비해 수렴성과 복잡도에 어떤 영향을 미치는가?
• RQ4 일반화된 부분미분을 사용하여 볼록성을 요구하지 않고도 비볼록 f로 분석을 확장할 수 있는가?
• RQ5 벌점수 파arameter β와 프록시멀 항 G, H는 수렴성과 복잡도 상한을 보장하는 데 어떤 역할을 하는가?

주요 결과

• 이 논문은 과잉완화 파arameter θ ∈ (0,2)를 가진 프록시멀 ADMM 변종에 대해 비볼록 설정에서도 O(ρ⁻²)의 점별 반복 복잡도 상한을 설정한다.
• 수렴 분석은 f가 적절하고 하부 연속이며, g가 리프시츠 연속 기울기를 가진 미분 가능 함수라는 가정 하에 성립한다.
• 상한은 β가 충분히 크고, G가 임의의 양측정 행렬이며, H가 항등행렬의 큰 양수 배인 경우에 해당하는 프록시멀 ADMM의 부분군에서 달성된다.
• 분석은 수렴이 원본 제약 위반, 이중 제약 위반, 부분미분 위반의 잔여 노름 ≤ ρ를 만족하는 점으로 전역적으로 수렴함을 증명한다.
• 이전의 복잡도 상한은 θ ∈ (0, (1+√5)/2) 범위를 초월하지 못했지만, 본 논문은 이 범위를 초월하여 비볼록 문제에 대해 확장한다.
• 증명은 누적된 이중 반복값 오차를 제어하기 위해 새로운 리아푸노프 함수와 텔레스코프 합 추론을 활용하며, 이로 인해 O(ρ⁻²) 복잡도가 유도된다.