[논문 리뷰] Nonconvex Generalization of ADMM for Nonlinear Equality Constrained Problems

Junxiang Wang, Liang Zhao|arXiv (Cornell University)|2017. 05. 09.

Sparse and Compressive Sensing Techniques참고 문헌 41인용 수 16

한 줄 요약

이 논문은 비선형 등식 제약 조건을 가진 최적화 문제를 해결하기 위한 새로운 일반적 ADMM 프레임워크인 neADMM를 제안한다. 변분부등식 프레임워크를 활용하여 수렴성과 하위선형 수렴 속도 보장을 확립한다. 적응형 페널티 갱신 전략을 도입하고, 행렬 완성 및 희소 학습과 같은 다양한 응용 분야에서의 효과를 입증한다.

ABSTRACT

The growing demand on efficient and distributed optimization algorithms for large-scale data stimulates the popularity of Alternative Direction Methods of Multipliers (ADMM) in numerous areas, such as compressive sensing, matrix completion, and sparse feature learning. While linear equality constrained problems have been extensively explored to be solved by ADMM, there lacks a generic framework for ADMM to solve problems with nonlinear equality constraints, which are common in practical application (e.g., orthogonality constraints). To address this problem, in this paper, we proposed a new generic ADMM framework for handling nonlinear equality constraints, called neADMM. First, we propose the generalized problem formulation and systematically provide the sufficient condition for the convergence of neADMM. Second, we prove a sublinear convergence rate based on variational inequality framework and also provide an novel accelerated strategy on the update of the penalty parameter. In addition, several practical applications under the generic framework of neADMM are provided. Experimental results on several applications demonstrate the usefulness of our neADMM.

연구 동기 및 목표

• 실제 응용 분야에서 흔한 직교성 제약 조건 등 비선형 등식 제약 조건 문제를 다룰 수 있는 일반적 ADMM 프레임워크의 부재를 보완한다.
• ADMM를 비선형 등식 제약 조건으로 일반화하기 위한 일반화된 문제 설정을 수립한다.
• 제안된 neADMM 알고리즘의 수렴성을 보장하기 위한 충분조건을 제공한다.
• 변분부등식 프레임워크를 활용하여 하위선형 수렴 속도를 증명한다.
• 수렴 성능을 향상시키기 위해 페널티 파라미터 갱신 전략을 가속화하는 전략을 개발한다.

제안 방법

• 비선형 등식 제약 조건을 ADMM 프레임워크에 통합하는 일반화된 최적화 설정을 제안한다.
• 변분부등식 기반 분석을 도입하여 neADMM의 수렴성을 보장하는 충분조건를 유도한다.
• 변분부등식 프레임워크를 활용하여 알고리즘의 하위선형 수렴 속도 O(1/k)를 확립한다.
• 라인 서치가 필요 없이 수렴 속도를 향상시키는 적응형 페널티 파라미터 갱신 전략을 설계한다.
• 표준 ADMM 업데이트 단계에 페널티 갱신 규칙을 통합하여 수렴성을 유지하면서도 실용적 성능을 향상시킨다.
• ADMM의 분해 가능성을 유지함으로써 대규모 및 분산 최적화에 적용 가능하도록 보장한다.

실험 결과

연구 질문

• RQ1 비선형 등식 제약 조건을 다룰 수 있는 일반적 ADMM 프레임워크를 선형 사례를 초월해 개발할 수 있는가?
• RQ2 비선형 제약 조건 문제에 ADMM를 적용할 때 수렴성을 보장하기 위한 충분조건는 무엇인가?
• RQ3 비선형 제약 조건 하에서 제안된 neADMM의 이론적 수렴 속도는 무엇인가?
• RQ4 수렴 보장을 훼손하지 않으면서 수렴 속도를 향상시키기 위해 페널티 파라미터를 어떻게 적응적으로 갱신할 수 있는가?
• RQ5 neADMM는 직교성 또는 저랭크 제약 조건과 같은 비선형 제약 조건을 포함한 실용적 응용 분야에서 어떻게 성능을 발휘하는가?

주요 결과

• neADMM 프레임워크는 ADMM를 사용하여 비선형 등식 제약 조건을 가진 최적화 문제를 일반적이고 체계적으로 해결할 수 있는 방법을 제공한다.
• 이론적 분석을 통해 변분부등식 이론에서 유도된 충분조건의 집합 하에서 수렴성이 확인된다.
• 하위선형 수렴 속도 O(1/k)가 확립되어 반복 과정에서 오차가 점차 감소하는 전역 수렴을 나타낸다.
• 제안된 적응형 페널티 갱신 전략은 고정 또는 히وري스틱 갱신 대비 실용적 수렴 속도를 크게 향상시킨다.
• 행렬 완성 및 희소 특징 학습과 같은 응용 분야에서의 실험 결과는 neADMM의 효과성과 강건성을 입증한다.
• 신호 처리 및 머신러닝에서 발생하는 비선형 제약 조건을 포함한 다양한 실제 문제에 적용 가능하다.