[논문 리뷰] Iteration-complexity of a Jacobi-type non-Euclidean ADMM for multi-block linearly constrained nonconvex programs

Jefferson G. Melo, Renato D. C. Monteiro|arXiv (Cornell University)|2017. 05. 20.

Sparse and Compressive Sensing Techniques참고 문헌 36인용 수 8

한 줄 요약

이 논문은 다중 블록 선형 제약 조건을 가진 비볼록 프로그래밍을 해결하기 위해 임의의 비유클리드 ADMM를 제안하며, 반복 복잡도를 분석한다. 이 방법은 병렬 하위문제 해결을 가능하게 하고, 이완 매개수 θ ∈ (0,2)를 허용한다. 일반화된 정적 조건에서 ρ-최적성에 도달하기 위해 O(ρ⁻²) 반복 복잡도 경계를 증명한다.

ABSTRACT

This paper establishes the iteration-complexity of a Jacobi-type non-Euclidean proximal alternating direction method of multipliers (ADMM) for solving multi-block linearly constrained nonconvex programs. The subproblems of this ADMM variant can be solved in parallel and hence the method has great potential to solve large scale multi-block linearly constrained nonconvex programs. Moreover, our analysis allows the Lagrange multiplier to be updated with a relaxation parameter in the interval (0, 2).

연구 동기 및 목표

• 비볼록, 다중 블록 ADMM 변종에 대한 반복 복잡도 분석의 부족을 해결한다.
• 각 하위문제를 독립적으로 해결할 수 있도록 비유사적 비유클리드 ADMM를 개발함으로써, 대규모 문제의 확장성 향상을 도모한다.
• 이완 매개수 θ ∈ (0,2)를 사용한 수렴 보장을 확립함으로써, 기존의 표준 θ = 1 또는 θ ≤ (√5+1)/2를 초월한다.
• 비볼록 문제에 대해 일반화된 정적 조건에서 ρ-최적성을 달성하기 위한 O(ρ⁻²) 반복 복잡도 경계를 제공한다.
• 브레그만 거리와 잠재 함수의 감소를 활용하여, 비볼록 ADMM의 수렴 분석과 반복 복잡도 간 격차를 메운다.

제안 방법

• 각 블록 하위문제가 비유클리드 거리(dw_i)를 사용하여 보정된 증강 라그랑주 함수를 독립적으로 해결하는 비유사적 비유클리드 ADMM를 제안한다.
• 이완 매개수 θ ∈ (0,2)를 사용하여 이중 변수를 갱신함으로써 수렴 속도 향상과 안정성 향상을 달성한다. λ^k = λ^{k-1} - θβ(∑A_i x_i^k - b).
• 비미분 가능성 및 비제곱 성분을 다루기 위해, 거리 생성 함수를 기반으로 한 비유클리드 프록시멀 항(dw_i)을 사용한다.
• 증강 라그랑주 함수와 프록시멀 항을 조합한 잠재 함수를 통해 방법을 분석하며, 약한 가정 하에 감소함을 보인다.
• 잠재 함수가 충분히 빠르게 감소함을 증명함으로써, O(ρ⁻²) 반복 복잡도 경계를 도출한다.
• 쿠르다카-로자셰비츠 성질과 ∇f_p의 리프시츠 연속성을 활용하여, 하위기울기와 이중 비가역성을 제어한다.

실험 결과

연구 질문

• RQ1 다중 블록 선형 제약 조건을 가진 비볼록 최적화 문제를 해결하기 위해 비유사적 비유클리드 ADMM의 반복 복잡도는 무엇인가?
• RQ2 수렴성과 복잡도 보장을 유지하면서 이완 매개수 θ를 1을 초월해 (0,2)로 확장할 수 있는가?
• RQ3 비유클리드 브레그만 거리의 사용이 비볼록 문제에 대한 ADMM의 수렴성과 복잡도에 어떤 영향을 미치는가?
• RQ4 어떤 가정 하에 방법이 ρ-최적성을 달성하기 위해 O(ρ⁻²) 반복 복잡도 경계를 확보하는가?
• RQ5 비볼록 설정에서 수렴성 또는 복잡도 경계를 훼손하지 않고 하위문제를 병렬로 해결할 수 있는가?

주요 결과

• 해법은 일반화된 정적 조건을 충족하는 점을 ρ의 정밀도 내에서 찾기 위해 O(ρ⁻²) 반복 복잡도 경계를 달성한다.
• 이완 매개수 θ는 전체 구간 (0,2)에서 선택 가능하여, 이전 연구에서 제한된 θ ≤ (√5+1)/2에 비해 더 큰 유연성과 수렴 속도 향상을 제공한다.
• 비유사적 구조 덕분에 하위문제가 병렬로 해결되며, 이는 대규모 다중 블록 문제에 대해 매우 확장 가능하다.
• 분석은 A_p가 행렬 질서가 완전하고 f_p가 미분 가능하며 그 기울기가 리프시츠 연속이라는 가정 하에 성립하며, 이를 통해 충분한 정규성 확보된다.
• 분석에서 사용된 잠재 함수는 충분히 빠르게 감소하므로, O(ρ⁻²) 복잡도 경계 유도가 가능하다.
• 비유사 프록시멀 항과 더 넓은 범위의 이완 매개수를 허용함으로써, 이전 결과를 일반화한다.