[논문 리뷰] On the convergence properties of a majorized ADMM for linearly constrained convex optimization problems with coupled objective functions

Ying Cui, Xudong Li외 2명|arXiv (Cornell University)|2015. 01. 31.

Optimization and Variational Analysis참고 문헌 14인용 수 41

한 줄 요약

이 논문은 결합된 목적 함수를 가진 선형 제약 조건이 있는 볼록 최적화 문제에 대해 주요화된 ADMM의 수렴성을 확립한다. 교차 항을 제어하기 위해 일반화된 평균값 정리를 사용하며, 전역 수렴을 τ ∈ (0, (1+√5)/2)의 큰 스텝 길이로 보장하고, ε-근사 해를 위한 O(1/ε) 반복 복잡도를 제공한다.

ABSTRACT

In this paper, we establish the convergence properties for a majorized alternating direction method of multipliers (ADMM) for linearly constrained convex optimization problems whose objectives contain coupled functions. Our convergence analysis relies on the generalized Mean-Value Theorem which plays an important role to properly control the cross terms due to the presence of coupled objective functions. Our results in particular show that directly applying 2-block ADMM with a large step length to the linearly constrained convex optimization problem with a quadratically coupled objective function is convergent under mild conditions. We also provide several iteration complexity results for the algorithm.

연구 동기 및 목표

• 결합된 목적 함수를 가진 선형 제약 조건이 있는 볼록 최적화 문제에 대해 주요화된 ADMM의 수렴 성질을 확립하는 것.
• 결합된 항으로 인해 목적 함수가 분리 가능하지 않은 경우 ADMM에 대한 수렴 분석 부족 문제를 다루는 것.
• 약한 조건 하에서 알고리즘의 반복 복잡도 결과를 제공하는 것.
• 결합된 함수가 볼록 2차 함수인 경우 수렴 보장을 확장하는 것.

제안 방법

• 보조 변수와 프록시멀 항을 도입하여 비분리적이고 결합된 목적 함수를 다루기 위해 주요화된 ADMM 프레임워크를 활용한다.
• 증강 라그랑지안에서 발생하는 결합 함수 φ(u,v)의 교차 항을 제어하기 위해 일반화된 평균값 정리를 적용한다.
• 일반화된 헤시안과 프록시멀 연산자 S와 T를 포함하는 리아푸노프 유형 함수를 통해 수렴 조건을 도출한다.
• 스푸르 컴플리먼트 기법과 행렬 부등식을 활용하여 반복의 감소 행동과 수렴성을 분석한다.
• 반복 수에 걸쳐 부등식을 합산하고 目적 함수의 볼록성을 활용하여, 에르고딕 반복 복잡도 경계를 수립한다.
• 표준 및 주요화된 ADMM 변형을 모두 고려하며, 스텝 길이 τ와 프록시멀 파라미터에 대해 명시적인 조건을 설정한다.

실험 결과

연구 질문

• RQ1 결합된 목표 함수를 가진 선형 제약 조건이 있는 볼록 문제에 대해 주요화된 ADMM가 어떤 조건에서 수렴하는가?
• RQ2 결합된 매끄럽고 볼록인 함수 φ(u,v)가 ADMM의 수렴 행동에 어떤 영향을 미치는가?
• RQ3 스텝 길이 τ > 1인 ADMM이 이러한 문제에 대해 전역 수렴 가능할 수 있는가?
• RQ4 ε-최적 해를 얻기 위한 주요화된 ADMM의 반복 복잡도는 무엇인가?
• RQ5 수렴 분석을 다중 블록 문제나 부정정 프록시멀 항이 있는 경우로 확장할 수 있는가?

주요 결과

• 스텝 길이 τ ∈ (0, (1+√5)/2)를 가진 주요화된 ADMM는 결합된 목표 함수를 가진 선형 제약 조건이 있는 볼록 문제에서 전역 수렴성을 보장한다.
• 결합된 함수에서 발생하는 교차 항을 제어하기 위해 일반화된 평균값 정리를 사용하여 약한 조건 하에서도 수렴을 확립한다.
• 볼록 2차 결합 함수의 경우, 결합 파라미터 η의 영향이 사라지며(η = 0), 수렴 조건이 단순화된다.
• 알고리즘은 에르고딕 관점에서 ε-최적 해를 얻기 위해 O(1/ε) 반복 복잡도를 달성한다.
• 원시 타당성과 목적 함수의 에르고딕 수렴 속도는 O(1/k)이며, 리아푸노프 함수 분석을 통해 명시적인 경계가 유도된다.
• 기존의 분리 가능한 ADMM에 대한 복잡도 경계를 비분리적이고 결합된 설정으로 확장하여 통합된 수렴 프레임워크를 제공한다.