[논문 리뷰] Global Convergence of ADMM in Nonconvex Nonsmooth Optimization

Yu Wang, Wotao Yin외 1명|arXiv (Cornell University)|2015. 11. 18.

Sparse and Compressive Sensing Techniques참고 문헌 71인용 수 201

한 줄 요약

이 논문은 비볼록, 비연속 최적화 문제에 대해 다중 블록을 가진 상호작용 방법(ADMM)의 전역 수렴성을 비볼록, 비연속 목적 함수 및 제약 행렬에 대한 조건이 약한 경우에 확립한다. 이는 $\beta$-준노름, 슈타인- $q$ 노름, 비볼록 희박성 유도 페널티 함수 등 광범위한 비볼록 함수 클래스에 대해 수렴성을 증명하며, 보상 매개수(parameter)가 유계일지라도 보조 라그랑주 방법(AGM)이 실패할 수 있는 상황에서 ADMM가 수렴할 수 있음을 보여준다.

ABSTRACT

In this paper, we analyze the convergence of the alternating direction method of multipliers (ADMM) for minimizing a nonconvex and possibly nonsmooth objective function, $ϕ(x_0,\ldots,x_p,y)$, subject to coupled linear equality constraints. Our ADMM updates each of the primal variables $x_0,\ldots,x_p,y$, followed by updating the dual variable. We separate the variable $y$ from $x_i$'s as it has a special role in our analysis. The developed convergence guarantee covers a variety of nonconvex functions such as piecewise linear functions, $\ell_q$ quasi-norm, Schatten-$q$ quasi-norm ($0

연구 동기 및 목표

• 비볼록, 비연속 최적화 문제에 대해 다중 변수 블록을 가진 ADMM의 전역 수렴 보장을 확립하는 것.
• 표준 수렴 조건이 실패할 경우에도 ADMM의 비볼록 문제에 대한 행동에 대한 이론적 이해의 오랜 격차를 메우는 것.
• MCP와 SCAD와 같은 비볼록 페널티 함수를 포함한 $\beta$-준노름, 슈타인- $q$ 노름 등 광범위한 비볼록 함수 클래스로 ADMM 수렴을 확장하는 것.
• 보상 매개수가 유계일지라도 보조 라그랑주 방법(AGM)이 발산하는 동안 ADMM가 수렴할 수 있음을 보여주는 것.
• 세 개 이상의 블록을 가진 단조적 프로그램(monotropic programs)에 대해 ADMM 수렴을 위한 충분한 조건을 제공하는 것.

제안 방법

• 선형 등식 제약 조건 하에 가능한 비볼록, 비연속 목적 함수를 최소화하기 위한 일반적인 ADMM 프레임워크를 제안하며, 변수 $y$ 에 대해 특수한 처리를 한다.
• ADMM 하위 문제의 기초로 보조 라그랑주 함수 ${\mathcal{L}}_{\beta}$ 를 사용하며, 변수 $x_0, \dots, x_p, y$ 와 이중 변수 $w$ 를 순환적이고 블록 단위로 갱신한다.
• 리프시츠 연속성과 행렬 성질을 활용하여 리아푸노프 유사 분석을 적용하여 보조 라그랑주 함수의 단조 감소와 반복값의 유계성을 입증한다.
• 보조 라그랑주 함수의 단조 감소, 하한 유계성, 반복값의 유계성 등 네 가지 핵심 조건(P1–P4)을 검증함으로써 수렴성을 확립한다.
• 보상 매개수 $\beta$ 가 유계일지라도 AGM이 발산하고 ADMM가 수렴하는 새로운 예시를 제시하여, 비볼록 환경에서 ADMM의 강건성을 입증한다.
• 비볼록 제약 조건인 콪 pact 다양체(예: 스티펠, 그라스만) 및 선형 보완성 제약 조건을 목적 함수에 지표 함수를 통합하여 분석에 확장한다.

실험 결과

연구 질문

• RQ1 비볼록, 비연속 최적화 문제에 대해 다중 블록을 가진 ADMM가 전역 수렴하기 위한 조건은 무엇인가?
• RQ2 보상 매개수가 유계일지라도 보조 라그랑주 방법(AGM)이 발산하는 상황에서 ADMM가 수렴할 수 있는가?
• RQ3 어떤 비볼록 함수 및 제약 조건 클래스가 전역 ADMM 수렴과 호환되는가?
• RQ4 ADMM 업데이트 체계에서 $y$ 변수에 대한 특수 처리가 수렴 보장에 미치는 영향은 무엇인가?
• RQ5 세 개 이상의 블록을 가진 단조적 프로그램에서 ADMM 수렴을 위한 충분한 조건은 무엇인가?

주요 결과

• ADMM는 $0 < q < 1$ 인 $\ell_q$ 준노름, 슈타인- $q$ 준노름, MCP 및 SCAD 페널티 함수를 포함한 광범위한 비볼록, 비연속 함수 클래스에 대해 전역 수렴한다.
• 보조 라그랑주 방법(AGM)이 발산하는 상황에서도 보상 매개수가 유계일지라도 ADMM가 수렴함을 반례를 통해 입증하여, 비볼록 환경에서 ADMM의 뛰어난 강건성을 보여준다.
• 수렴은 목적 함수가 연속적이고 하부 반연속적이며, 제약 행렬이 유계 조건수를 포함한 일정한 정규성 조건을 만족하는 약한 가정 하에 보장된다.
• 반복값 $\{x^k, y^k, w^k\}$ 는 유계를 유지하며, 보조 라그랑주 함수는 단조 감소하여 임계점으로 수렴함을 보장한다.
• 구면, 스티펠, 그라스만 등 비볼록 제약 조건은 목적 함수에 지표 함수를 통합함으로써 분석에 포함된다.
• 특히 $x_0$-블록에 대해서는 하부 반연속성만 요구되므로, 희박 최적화, 행렬 분해 및 통계 학습 분야의 다양한 실용적 문제에 적용 가능하다.