[논문 리뷰] Convergence Analysis of A Proximal Linearized ADMM Algorithm for Nonconvex Nonsmooth Optimization

Maryam Yashtini|arXiv (Cornell University)|2020. 01. 01.

Sparse and Compressive Sensing Techniques참고 문헌 56인용 수 3

한 줄 요약

이 논문은 선형 제약 조건이 붙은 비볼록 및 비미분 가능 최적화 문제를 해결하기 위해 가변 메트릭 프록시멀 선형화된 ADMM(PL-ADMM)를 제안한다. 적응형 프록시멀 항과 오버릴랙세이션을 통합함으로써, 수열이 유계이면서 임계점으로 수렴함을 보장한다. 쿠르다카-로자예프스키(Kurdyka-Łojasiewicz, KŁ) 성질이 성립할 경우 유한한 수렴 길이를 확보하고, KŁ 지수 θ에 따라 수렴 속도가 결정되며, θ = 0일 경우 유한 시간 수렴, θ ∈ (0, 1/2)일 경우 R-선형 수렴, θ ∈ (1/2, 1)일 경우 하위선형 O(1/k^r) 수렴 속도를 보인다.

ABSTRACT

In this paper, we consider a proximal linearized alternating direction method of multipliers (PL-ADMM) for solving linearly constrained nonconvex and possibly nonsmooth optimization problems. The algorithm is generalized by using variable metric proximal terms in the primal updates and an over-relaxation stepsize in the multiplier update. We prove that the sequence generated by this method is bounded and its limit points are critical points. Under the powerful Kurdyka-{Łojasiewicz} properties we prove that the sequence has a finite length thus converges, and we drive its convergence rates.

연구 동기 및 목표

• . 논문은 비볼록, 비미분 가능 설정에서 프록시멀 선형화된 ADMM 변종의 수렴성과 수렴 속도를 확립하는 것을 목표로 한다.
• . 對해적 성공에도 불구하고 ADMM가 비볼록 문제에서 이론적 보장이 부족한 점을 다룬다.
• . 일반적인 가정 하에 수렴성과 유계성의 증명을 포함한다.
• . 쿠르다카-로자예프스키(KŁ) 성질에 기반한 수렴 속도 유도를 목표로 하며, 지수 θ가 수렴 속도에 미치는 영향을 연결한다.
• . 표준 ADMM을 일반화하기 위해 가변 메트릭과 오버릴랙세이션을 도입하여 수렴 거동을 향상시키는 것을 목표로 한다.

제안 방법

• . 원칙적 업데이트에서 가변 메트릭 프록시멀 항을 사용하여 적응형 정규화를 가능하게 한다.
• . 이중(승수) 업데이트에 오버릴랙세이션 스텝 사이즈를 통합하여 수렴 안정성을 향상시킨다.
• . 수렴 분석은 쿠르다카-로자예프스키(KŁ) 부등식을 사용하여, 임계점 근처에서 목적함수의 날카기 정도를 기술한다.
• . KŁ 성질과 반복 수렴의 유계성에 기반하여 수열이 유한한 길이를 가지며 코시 수열임을 증명함으로써 수렴을 확립한다.
• . 리아푸노프 함수의 감쇠와 수렴 속도를 연결하기 위해 desingularizing 함수 ψ(s) = s^{1−θ}를 활용한다.
• . 핵심 부등식은 KŁ 조건과 리아푸노프 함수 Rk를 사용하여 원칙적 및 이중 단계 크기의 노름을 유계화하는 데 사용된다.

실험 결과

연구 질문

• RQ1 . 제안된 PL-ADMM 알고리즘이 선형 제약 조건이 있는 비볼록 및 비미분 가능 문제에서 임계점으로 수렴하는가?
• RQ2 . PL-ADMM가 생성하는 수열이 유한한 길이를 가지며 수렴하기 위한 조건은 무엇인가?
• RQ3 . 쿠르다카-로자예프스키(KŁ) 지수 θ와 목적함수의 구조가 수렴 속도에 미치는 영향은 무엇인가?
• RQ4 . KŁ 지수 θ에 따라 수렴 속도를 정량적으로 기술할 수 있으며, θ의 다양한 범위에 따른 구체적인 수렴 속도는 무엇인가?
• RQ5 . 가변 메트릭 프록시멀 항과 오버릴랙세이션의 포함이 표준 ADMM에 비해 수렴 거동을 향상시키는가?

주요 결과

• . 표준 가정 하에 PL-ADMM 알고리즘에 의해 생성된 수열은 유계이며 임계점으로 수렴한다.
• . 쿠르다카-로자예프스키(KŁ) 지수 θ = 0를 만족할 경우, 알고리즘은 유한한 수렴 길이를 확보하며, 일정 수의 반복 후 수렴한다.
• . θ ∈ (0, 1/2)일 경우, 수렴 속도는 R-선형이며, |||uk − u∞||| ≤ C q^k (일부 q ∈ (0, 1))를 만족하여 빠른 국소 수렴을 나타낸다.
• . θ ∈ (1/2, 1)일 경우, 수렴 속도는 하위선형이며, 구체적으로 r = (1−θ)/(2θ−1)에 대해 O(1/k^r)로 표현되며, θ가 1에 가까워질수록 감쇠가 빨라진다.
• . 수렴 속도는 KŁ 지수 θ에 정량적으로 연결되며, 더 작은 θ일수록 더 빠른 감쇠를 보이며, θ = 0일 경우 유한 시간 수렴을 이룬다.
• . 분석을 통해 수렴 속도는 desingularizing 함수 ψ(s) = s^{1−θ}와 한계점에서의 KŁ 성질에 따라 결정됨을 입증하였다.