[논문 리뷰] Multi-convex Inequality-constrained Alternating Direction Method of Multipliers

Junxiang Wang, Liang Zhao외 1명|arXiv (Cornell University)|2019. 02. 28.

Sparse and Compressive Sensing Techniques참고 문헌 36인용 수 8

한 줄 요약

이 논문은 다중 볼록 부등식 제약 조건이 있는 ADMM(multi-convex inequality-constrained ADMM, miADMM)를 위한 일반적인 프레임워크를 제안하며, 목적 함수와 제약 조건 양쪽에 다수의 결합된 변수를 처리하고, 약한 조건 하에서도 이론적 수렴성을 확립한다. 이 방법은 적대적 학습과 비음수 행렬 분해와 같은 다양한 기계 학습 응용 분야에서 강력한 경험적 성능을 보이며, 합성 및 실세계 데이터셋에서 입증된 확장성과 수렴성 덕분이다.

ABSTRACT

In recent years, although the Alternating Direction Method of Multipliers (ADMM) has been empirically applied widely for many multi-convex applications, delivering an impressive performance in areas such as adversarial learning and nonnegative matrix factorization, there remains a dearth of generic work on multi-convex ADMM with a theoretical guarantee under mild conditions. In this paper, we propose a novel generic framework of multi-convex inequality-constrained ADMM (miADMM) with multiple coupled variables in both objective and constraints. Theoretical properties such as convergence conditions and properties are discussed and proven. Several important applications are discussed as special cases under our miADMM framework. These cases are from a wide variety of topical machine learning problems. Extensive experiments on one synthetic dataset and ten real-world datasets related to multiple applications demonstrate the proposed framework's effectiveness, scalability, and convergence properties.

연구 동기 및 목표

• 실제 응용에서 널리 사용되고 있음에도 불구하고 다중 볼록 ADMM에 대한 이론적 보장이 부족한 문제를 해결한다.
• 목적 함수와 부등식 제약 조건 양쪽에 다수의 결합된 변수를 처리할 수 있는 일반적인 프레임워크를 개발한다.
• 약한 가정 하에 제안된 miADMM의 수렴 조건과 이론적 성질을 확립한다.
• 다양한 기계 학습 문제에 걸쳐 프레임워크의 효과성과 확장성을 입증한다.

제안 방법

• 다중 볼록 문제에 특화된 새로운 ADMM 기반 최적화 프레임워크를 제안하며, 다수의 결합된 변수를 포함한 부등식 제약 조건이 있다.
• 다중 볼록 목적 함수와 제약 조건의 구조를 번갈아 가며 하위 문제로 분리하는 전략을 도입한다.
• 증강 라그랑주 해석을 통해 부등식 제약 조건을 직접 ADMM 업데이트 규칙에 통합한다.
• 리아푸노프 분석을 통해 수렴 조건을 유도하며, 약한 가정 하에 전역 수렴을 증명한다.
• 다양한 기계 학습 응용 분야에서 특수 케이스로 일반화될 수 있는 융통성 있는 알고리즘 아키텍처를 설계한다.
• 실제 적용에서 수렴 속도와 안정성을 향상시키기 위해 적응형 페널티 파라미터 업데이트를 구현한다.

실험 결과

연구 질문

• RQ1 다중 볼록 최적화에 부등식 제약 조건과 다수의 결합된 변수를 처리할 수 있는 일반적인 ADMM 프레임워크를 개발할 수 있는가?
• RQ2 제안된 miADMM가 어떤 이론적 조건 하에서 전역 수렴하는가?
• RQ3 miADMM는 실세계 및 합성 데이터셋에서 기존의 ADMM 변종과 비교해 어떻게 성능을 내는가?
• RQ4 miADMM는 다양한 기계 학습 문제에 대해 얼마나 널리 통합 프레임워크로 적용될 수 있는가?

주요 결과

• miADMM 프레임워크는 약한 가정 하에서도 전역 수렴을 달성하며, 다중 볼록 부등식 제약 조건 문제에 대한 이론적 보장을 제공한다.
• 합성 데이터 1종과 실세계 데이터 10종에 대한 광범위한 실험을 통해 프레임워크의 확장성과 강건한 수렴 행동이 확인되었다.
• 적대적 학습과 비음수 행렬 분해를 포함한 여러 응용 분야에서 기준 방법 대비 수렴 속도와 해의 품질에서 miADMM가 뛰어난 성능을 보였다.
• 프레임워크는 다양한 기계 학습 문제에 자연스럽게 일반화되며, 다양한 다중 볼록 최적화 작업에 대한 통합 솔버로 기능한다.