[논문 리뷰] A Linearly Convergent Majorized ADMM with Indefinite Proximal Terms for Convex Composite Programming and Its Applications

Ning Zhang, Jia Wu외 1명|arXiv (Cornell University)|2017. 06. 06.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 4

한 줄 요약

이 논문은 볼록 복합 최적화를 위한 비정규화된 보조 항을 가진 주요화된 ADMM(iPADMM)를 제안하며, 더 약한 조건과 局부 오차 유계 조건 하에서 선형 수렴성을 달성한다. 이 방법은 대칭 고스이드를 통해 다중 블록 문제로 확장되며, 반정규화된 sPADMM 대비 30–50% 적은 반복 수를 기록하여 정규화된 로지스틱 회귀에서 뛰어난 효율성을 보였다.

ABSTRACT

This paper aims to study a majorized alternating direction method of multipliers with indefinite proximal terms (iPADMM) for convex composite optimization problems. We show that the majorized iPADMM for 2-block convex optimization problems converges globally under weaker conditions than those used in the literature and exhibits a linear convergence rate under a local error bound condition. Based on these, we establish the linear rate convergence results for a symmetric Gaussian-Seidel based majorized iPADMM, which is designed for multi-block composite convex optimization problems. Moreover, we apply the majorized iPADMM to solve different types of regularized logistic regression problems. The numerical results on both synthetic and real datasets demonstrate the efficiency of the majorized iPADMM and also illustrate the effectiveness of the introduced indefinite proximal terms.

연구 동기 및 목표

• 2블록 볼록 최적화 문제에서 비정규화된 보조 항을 가진 주요화된 ADMM의 전역 수렴성과 선형 수렴 속도를 확립하기 위해.
• 대칭 고스이드 전략을 사용하여 다중 블록 문제로의 수렴 분석을 확장하기 위해.
• 비정규화된 보조 항이 표준 반정규화된 접근 방식 대비 수치 성능 향상에 기여하는지 효과적으로 입증하기 위해.
• 정규화된 로지스틱 회귀에 이 방법을 적용하고, 합성 및 실제 데이터 세트에서의 우수성을 검증하기 위해.

제안 방법

• 양의 준정부정 행렬 연산자 bΣf와 bΣg를 기반으로 한 상한을 가지는 이차 모델을 사용하여 비정규화된 보조 항을 포함한 주요화된 증강 라그랑주 함수를 도입하며, 리프시츠 상수를 대체한다.
• y와 z 변수에 대해 각각 비정규화된 보조 항 S와 T를 사용하는 반복적 알고리즘을 설계한다.
• 다중 블록 문제를 등가의 2블록 문제로 재구성함으로써 대칭 고스이드 업데이트 순서를 사용하여 문제를 처리한다.
• 국부 오차 유계 조건 하에서 선형 수렴성을 확립하며, 기존의 반정규화된 ADMM를 넘어서는 수렴 결과를 일반화한다.
• 매개변수 τ ∈ (0, (1+√5)/2)를 사용하며, S와 T가 비정규화될 수 있도록 허용함으로써 적용 범위를 넓힌다.
• 분리 가능한 구조를 가진 볼록 복합 문제로 정규화된 로지스틱 회귀를 재구성함으로써 방법을 적용한다.

실험 결과

연구 질문

• RQ1 기존 방법보다 더 약한 가정 하에 비정규화된 보조 항을 가진 주요화된 ADMM가 선형 수렴성을 달성할 수 있는가?
• RQ2 iPADMM의 대칭 고스이드 변형은 다중 블록 문제에 대해 선형 수렴성을 유지하는가?
• RQ3 실제 적용에서 bΣf(양의 준정부정 연산자)를 사용하는 것과 λmax(bΣf) 리프시츠 상수를 사용하는 것의 성능 비교는 어떻게 되는가?
• RQ4 로지스틱 회귀에서 iPADMM가 주요화된 sPADMM 및 L-주요화된 ADMM에 비해 경험적으로 얼마나 더 빠른 성능을 보이는가?
• RQ5 비정규화된 보조 항은 대규모 최적화 문제에서 수렴 속도와 안정성 향상에 기여하는가?

주요 결과

• 주요화된 iPADMM는 국부 오차 유계 조건 하에서 전역 수렴성과 선형 수렴 속도를 확보하며, 이는 이전 연구보다 더 약한 가정 조건을 요구한다.
• 합성 및 실제 데이터 세트에서 iPADMM는 주요화된 sPADMM 대비 반복 수를 30–50% 감소시켰다.
• 제약 조건이 있는 로지스틱 회귀에서 iPADMM는 L-주요화된 ADMM를 능가했으며, 일부 케이스에서는 50,000회 이내 수렴에 실패한 L-주요화된 ADMM와 대비되었다.
• 대칭 고스이드 기반의 iPADMM는 특별히 구성된 (비정규화될 수 있는) 보조 항을 가진 2블록 iPADMM와 동치이므로 선형 수렴성을 달성한다.
• 수치 결과는 bΣf를 λmax(bΣf) 대신 사용할 경우 더 빠른 수렴과 향상된 성능를 보이며, 이는 그림 2에서 명확히 확인된다.
• rcv1.binary 및 news20.binary와 같은 데이터 세트에서 런타임과 반복 수의 절감 효과가 뚜렷했으며, 일부 케이스에서는 최대 278.54초의 시간 절감을 기록했다.