[논문 리뷰] ADMM for Multiaffine Constrained Optimization

Wenbo Gao, Donald Goldfarb외 1명|arXiv (Cornell University)|2018. 02. 26.

Sparse and Compressive Sensing Techniques참고 문헌 56인용 수 5

한 줄 요약

이 논문은 다중아핀 제약 조건을 가진 최적화 문제에 대해 약한 가정 하에 분할 상환 방법의 다중 변수 블록에 대한 전역 수렴성을 확립한다. 페널티 파라미터 ρ가 충분히 클 경우 ADMM는 제약 조건을 만족하는 정류점 집합으로 수렴하며, 커르디카-로자예프스키 성질이 성립할 경우 비볼록 및 비연속 목적 함수일지라도 단일 정류점으로 수렴함을 증명한다.

ABSTRACT

We expand the scope of the alternating direction method of multipliers (ADMM). Specifically, we show that ADMM, when employed to solve problems with multiaffine constraints that satisfy certain verifiable assumptions, converges to the set of constrained stationary points if the penalty parameter in the augmented Lagrangian is sufficiently large. When the Kurdyka-Łojasiewicz (K-Ł) property holds, this is strengthened to convergence to a single constrained stationary point. Our analysis applies under assumptions that we have endeavored to make as weak as possible. It applies to problems that involve nonconvex and/or nonsmooth objective terms, in addition to the multiaffine constraints that can involve multiple (three or more) blocks of variables. To illustrate the applicability of our results, we describe examples including nonnegative matrix factorization, sparse learning, risk parity portfolio selection, nonconvex formulations of convex problems, and neural network training. In each case, our ADMM approach encounters only subproblems that have closed-form solutions.

연구 동기 및 목표

• 선형 제약 조건을 초월하여 다중아핀 제약 조건을 가진 문제로 ADMM 수렴 이론을 확장하기 위해.
• 비볼록 및 비연속 목적 함수일지라도 검증 가능한 가정 하에 ADMM이 제약 조건을 만족하는 정류점 집합으로 전역 수렴함을 확립하기 위해.
• 비음성 행렬 분해 및 리스크 패리티 포트폴리오 선택과 같은 핵심 응용에서 ADMM 하위문제가 여전히 해석 가능한 형태로 해결 가능함을 보여주기 위해.
• 특히 세 개 이상의 변수 블록을 포함한 문제에 대해 이전 연구보다 더 약한 조건 하에 수렴 보장을 제공하기 위해.
• 다중아핀 제약 조건에 적용 가능한 프레임워크를 도입하여 기존 ADMM 수렴 결과를 통합하고 일반화하기 위해.

제안 방법

• 다른 변수 블록이 고정되어 있을 때 각 변수 블록에 대해 아핀인 제약 조건을 가진 문제에 적용된 ADMM에 대한 새로운 수렴 분석 프레임워크를 제안한다.
• 페널티 파라미터 ρ를 사용한 증강 라그랑주 함수를 사용하고, 변수 블록별 최소화 및 이중 상승 단계를 통해 생성된 반복 수열을 분석한다.
• 추가적인 정규성 조건 하에서 커르디카-로자예프스키 (K-Ł) 부등식을 적용하여 정류점으로의 수렴을 강화한다.
• 제약 조건의 구조와 변수 그룹화에 관한 새로운 기술적 보조정리를 사용하여 반복 수열의 유계성과 하위기울기의 0으로 수렴성을 확립한다.
• 분석을 분리하기 위해 변수 분할 전략을 도입하여 기존 수렴 도구를 다중아핀 설정에 적용할 수 있도록 한다.
• 변수의 유계성과 핵심 구성 요소에서 제약 조건의 야코비안의 단사성 등을 포함한 검증 가능한 가정에 기반한다.

실험 결과

연구 질문

• RQ1 다중아핀 제약 조건을 가진 최적화 문제에 대해 ADMM가 어떤 조건에서 전역 수렴하는가?
• RQ2 커르디카-로자예프스키 (K-Ł) 성질이 성립할 경우 비볼록 설정에서도 ADMM이 단일 정류점으로 수렴할 수 있는가?
• RQ3 비음성 행렬 분해 및 리스크 패리티 포트폴리오 선택과 같은 중요한 응용에서 ADMM 하위문제가 여전이 닫힌 형태의 해를 가지는가?
• RQ4 페널티 파라미터 ρ는 수렴에 어떤 영향을 미치며, 수렴을 보장하기 위해 필요한 최소값은 무엇인가?
• RQ5 세 개 이상의 변수 블록과 비볼록 목적 함수를 포함한 문제로 수렴 이론을 확장할 수 있는가?

주요 결과

• 페널티 파라미터 ρ가 충분히 크고 다중아핀 제약 조건이 약한 검증 가능한 가정을 만족할 경우 ADMM은 제약 조건을 만족하는 정류점 집합으로 전역 수렴한다.
• 커르디카-로자예프스키 (K-Ł) 성질이 성립할 경우 ADMM은 정류점 집합이 아닌 단일 제약 정류점으로 수렴한다.
• 이 분석은 비볼록 및/또는 비연속 목적 함수 함수뿐만 아니라 세 개 이상의 변수 블록을 포함한 문제에도 적용 가능하다.
• 비음성 행렬 분해, 희소 학습, 신경망 학습과 같은 핵심 응용에서 ADMM 스킴의 모든 하위문제가 닫힌 형태의 해를 가진다.
• 이전 연구에서 사용된 강한 볼록성 및 블록 구조에 대한 가정보다 훨씬 더 약한 가정 하에 수렴 결과가 확립된다.
• 이 프레임워크는 기존 ADMM 수렴 보장을 통합하고 일반화하여 더 넓은 범위의 다중아핀 제약 조건 문제로 확장한다.