[논문 리뷰] Convergence of Bregman alternating direction method with multipliers for nonconvex composite problems

Fenghui Wang, Zongben Xu외 1명|arXiv (Cornell University)|2014. 10. 31.

Sparse and Compressive Sensing Techniques참고 문헌 41인용 수 59

한 줄 요약

이 논문은 비볼록 복합 최적화 문제에 대해 Bregman 경량화 양안법(ADMM)의 수렴성을 확립한다. 약한 가정 조건, 즉 하위해석성(sub-analyticity)과 Kurdyka-Łojasiewicz(K-L) 부등식을 만족할 경우, Bregman 거리 체계를 활용하여 알고리즘의 성능과 수렴 안정성을 향상시킴으로써, 목표 함수가 비볼록일지라도 증강 라그랑주 함수의 정류점에 수렴함을 보여준다.

ABSTRACT

The alternating direction method with multipliers (ADMM) has been one of most powerful and successful methods for solving various convex or nonconvex composite problems that arise in the fields of image & signal processing and machine learning. In convex settings, numerous convergence results have been established for ADMM as well as its varieties. However, due to the absence of convexity, the convergence analysis of nonconvex ADMM is generally very difficult. In this paper we study the Bregman modification of ADMM (BADMM), which includes the conventional ADMM as a special case and often leads to an improvement of the performance of the algorithm. Under certain assumptions, we prove that the iterative sequence generated by BADMM converges to a stationary point of the associated augmented Lagrangian function. The obtained results underline the feasibility of ADMM in applications under nonconvex settings.

연구 동기 및 목표

• 전통적인 볼록 분석 도구가 실패하는 비볼록 환경에서 ADMM의 수렴 보장이 부족한 문제를 해결하기 위해.
• Bregman 거리 수정을 통해 ADMM의 수렴 이론을 비볼록 복합 문제로 확장하기 위해.
• 비볼록성에도 불구하고 BADMM가 정류점으로 수렴할 수 있는 조건을 설정하기 위해.
• 희박성 강화와 수렴 속도 향상 측면에서 비볼록 모델(예: ℓ₁/₂ 정규화)이 볼록 모델(예: ℓ₁)보다 뛰어나다는 것을 입증하기 위해.
• 실세계 문제, 예를 들어 희박 신호 복원 및 행렬 완성 등에 BADMM를 적용하기 위한 이론적 기반을 제공하기 위해.

제안 방법

• 표준 ADMM에 Bregman 거리 항을 추가하여 수렴성과 성능을 향상시키는 BADMM를 제안한다.
• 제약 조건 Ax = By 를 이행하기 위해 펜alty 파rameter α 와 이중 변수 p 를 포함한 증강 라그랑주 함수를 사용한다.
• y-하위문제와 x-하위문제에 각각 Δψ(y, yᵏ) 및 Δϕ(x, xᵏ) 의 Bregman 거리를 도입하여 업데이트를 정규화한다.
• 보조 함수의 충분한 감소 성질을 통해 수렴성을 확립하기 위해 Kurdyka-Łojasiewicz(K-L) 부등식과 하위해석 함수 가정을 활용한다.
• 수렴 속도와 변수 업데이트 순서에 대한 의존성 분석을 통해, 번갈아가며 x 와 y 를 업데이트하는 것이 감소 관계 유도에 핵심적임을 보여준다.
• ℓ₁/₂ 준노름 정규화를 사용한 비볼록 희박 복원 문제에 대해 이 방법을 적용하며, ℓ₁ 기반 볼록 모델과 비교한다.

실험 결과

연구 질문

• RQ1 합리적인 가정 하에 비볼록 복합 문제에 대해 BADMM가 정류점으로 수렴할 수 있는가?
• RQ2 Bregman 거리의 포함 여부가 비볼록 환경에서 ADMM의 수렴 성질과 성능에 어떤 영향을 미치는가?
• RQ3 목표 함수에 대해 필요한 조건(예: 하위해석성, K-L 부등식)은 무엇이며, 이 조건들이 BADMM 수렴을 보장하는 데 충분한가?
• RQ4 실제로 비볼록 정규화(예: ℓ₁/₂)가 볼록 정규화(예: ℓ₁)보다 더 빠른 수렴과 더 나은 희박성을 제공하는가?
• RQ5 변수 업데이트 순서(예: x 를 y 앞에 업데이트하는 것 vs. y 를 x 앞에 업데이트하는 것)는 BADMM의 수렴 증명과 안정성에 어떤 영향을 미치는가?

주요 결과

• 하위해석성과 Kurdyka-Łojasiewicz(K-L) 부등식을 가정할 경우, BADMM는 증강 라그랑주 함수의 정류점으로 수렴한다.
• 수렴은 증강 라그랑주 함수 자체가 아니라 보조 함수의 충분한 감소 성질을 통해 확립된다.
• 수치 실험에서 빠른 수렴과 향상된 희박성을 달성하며, 특히 ℓ₁/₂ 정규화(HADMM)는 ℓ₁ 정규화(SADMM)보다 뛰어난 성능을 보인다.
• 수치 실험에서 xᵏ 및 yᵏ 수열의 평균 제곱 오차(MSE)가 반복 과정 동안 감소함을 확인하여 진짜 해로의 수렴을 확인한다.
• HADMM 는 특히 yᵏ 수열에서 SADMM 에 비해 훨씬 더 빠른 수렴 속도를 보이며, 희박 복원에서 비볼록 정규화의 이점을 입증한다.
• K-L 부등식과 하위해석성 조건이 충족된다면, 목표 함수가 비볼록일지라도 수렴이 안정적임을 입증한다.