[논문 리뷰] Convergence of multi-block Bregman ADMM for nonconvex composite problems

Fenghui Wang, Wenfei Cao외 1명|arXiv (Cornell University)|2015. 05. 12.

Sparse and Compressive Sensing Techniques참고 문헌 47인용 수 24

한 줄 요약

이 논문은 비볼록 다중 블록 복합 최적화 문제를 해결하기 위해 Bregman ADMM의 변종을 제안하며, Kurdyka-Łojasiewicz (K-L) 부등식과 하위해석 함수를 사용하여 비볼록 설정에서 3블록 및 N블록 케이스에 대한 수렴성을 확립한다. 이 방법은 목적 함수가 비볼록일 경우에도 정류점으로 수렴함을 보장하여, 기존 2블록 볼록 문제에 국한된 ADMM의 이론적 기반을 비볼록 문제로 확장한다.

ABSTRACT

The alternating direction method with multipliers (ADMM) has been one of most powerful and successful methods for solving various composite problems. The convergence of the conventional ADMM (i.e., 2-block) for convex objective functions has been justified for a long time, and its convergence for nonconvex objective functions has, however, been established very recently. The multi-block ADMM, a natural extension of ADMM, is a widely used scheme and has also been found very useful in solving various nonconvex optimization problems. It is thus expected to establish convergence theory of the multi-block ADMM under nonconvex frameworks. In this paper we present a Bregman modification of 3-block ADMM and establish its convergence for a large family of nonconvex functions. We further extend the convergence results to the $N$-block case ($N \geq 3$), which underlines the feasibility of multi-block ADMM applications in nonconvex settings. Finally, we present a simulation study and a real-world application to support the correctness of the obtained theoretical assertions.

연구 동기 및 목표

• 기존 수렴 결과가 제한된 비볼록 최적화에서 다중 블록 ADMM의 수렴 이론을 수립하는 것.
• 비볼록 복합 목표 함수를 가진 3블록 및 N블록 문제로 Bregman ADMM 프레임워크를 확장하는 것.
• Kurdyka-Łojasiewicz (K-L) 부등식을 사용하여 비볼록성 조건 하에서 정류점으로의 수렴에 대한 이론적 보장을 제공하는 것.
• 수치 시뮬레이션과 영상 감시에서의 실세계 응용인 영상 배경 분리에 의한 이론적 결과의 검증

제안 방법

• Bregman 거리 요소를 보조라그랑주 하위문제에 통합하여 3블록 문제에 대한 Bregman ADMM 변종을 제안한다.
• 수렴성을 입증하기 위해 Kurdyka-Łojasiewicz (K-L) 부등식과 하위해석 함수 가정을 사용하여 반복값이 정류점으로 수렴함을 증명한다.
• 수동 조정을 피하기 위해 동적 페널티 파라미터 업데이트 전략을 도입: α = min(α * 1.1, α_max)
• 비볼록 정규화 모델을 사용하여 낮은 질서 + 희소 행렬 분해 문제(L + S = M)에 적용한다.
• 세 변수 분할 기법을 사용: L, S, 및 T = L + S로 구성되며, Bregman 거리를 사용하여 각 변수에 대해 교대 최소화를 수행한다.
• L에 대해 SVD 기반 초기화, S에 대해 영 초기화를 사용하고, 반복값의 상대적 변화 기반으로 종료 조건을 설정한다.

실험 결과

연구 질문

• RQ1 일반 조건 하에서 비볼록 3블록 문제에 대해 Bregman ADMM의 수렴성을 증명할 수 있는가?
• RQ2 3블록 수렴 이론이 비볼록 복합 최적화 문제에서 N블록(N ≥ 3)으로 확장 가능한가?
• RQ3 Kurdyka-Łojasiewicz (K-L) 부등식은 비볼록 ADMM 변종의 수렴을 보장하는 데 어떤 역할을 하는가?
• RQ4 표준 ADMM에 비해 비볼록 환경에서 Bregman 거리 수정이 수렴 행동을 어떻게 향상시키는가?
• RQ5 제안된 방법은 영상 감시에서의 배경 분리와 같은 실세계 비볼록 문제를 효과적으로 해결할 수 있는가?

주요 결과

• 제안된 Bregman ADMM는 K-L 부등식과 하위해석 함수 가정 하에서 비볼록 3블록 문제에 대해 정류점으로 수렴한다.
• 일반적인 N블록 케이스(N ≥ 3)에 대해서도 수렴성이 확립되어 다중 블록 ADMM의 이론적 범위를 비볼록 설정으로 확장한다.
• 수치 시뮬레이션 결과 상대 오차와 상대적 변화가 반복 과정에서 단조 감소함을 확인하여, 노이즈 없는 환경과 노이즈 있는 환경 모두에서 수렴성을 확인한다.
• 영상 배경 분리 응용에서 알고리즘이 동적 전경 객체를 정적 배경에서 성공적으로 분리하여 강인성과 실용적 유용성을 입증한다.
• 동적 페널티 파라미터 업데이트 전략(α = min(α * 1.1, α_max))은 수동 조정을 효과적으로 방지하고 수렴을 지원한다.
• 관측 행렬의 SVD를 사용한 초기화 방법은 특히 낮은 질서 행렬 복구 과제에서 복구 정확도를 크게 향상시킨다.