[논문 리뷰] Weighted iteration complexity of the sPADMM on the KKT residuals for convex composite optimization

Li Shen, Shaohua Pan|arXiv (Cornell University)|2016. 11. 10.

Sparse and Compressive Sensing Techniques참고 문헌 25인용 수 5

한 줄 요약

이 논문은 복합 볼록 최적화 문제에서 sPADMM의 KKT 잔차에 대해 O(1/k)의 가중 반복 복잡도를 설정하며, 새로운 일반화된 HPE 프레임워크를 사용한다. 이는 큰 스텝 사이즈를 사용할 때 ADMM 및 프록시멀 변형에 대한 에르고딕 수렴 속도를 증명하여 핵심적인 격차를 메운다. 이로써 명시적인 부적합도 경계를 갖는 전역 수렴을 보장한다.

ABSTRACT

In this paper we establish an $\mathcal{O}({1}/{k})$ weighted iteration complexity on the KKT residuals yielded by the sPADMM (semi-proximal alternating direction method of multiplier) for the convex composite optimization problem. This result, which is derived with the help of a novel generalized HPE (hybrid proximal extra-gradient) iteration formula, first fills the gap on the ergodic iteration complexity of the classic ADMM with a large step-size and its many proximal variants.

연구 동기 및 목표

• 큰 스텝 사이즈(≥ 황금비율)를 사용할 때 고전적 ADMM 및 그 프록시멀 변형에 대해 에르고딕 반복 복잡도 분석의 부족을 해결한다.
• 복합 볼록 최적화 문제에서 sPADMM의 KKT 잔차에 대한 수렴 속도 보장을 제공한다.
• 가중 반복 복잡도 경계를 유도하기 위해 새로운 일반화된 HPE 반복 공식을 개발한다.
• 최소한의 가정 하에 sPADMM의 전역 수렴과 명시적인 부적합도 경계를 확립한다.
• 다중 블록 및 비미분 가능 최적화 문제에 대한 ADMM 유형 알고리즘의 수렴 분석 이론적 격차를 메운다.

제안 방법

• sPADMM에 특화된 일반화된 HPE 프레임워크를 도입하여 가중 반복 복잡도 분석을 가능하게 한다.
• 원추형 해에 대한 거리와 프록시멀 항을 기반으로 한 새로운 리아푸노프 함수를 정의하여 수렴을 추적한다.
• sPADMM 반복에서 y, z, x 변수의 업데이트를 분리하기 위해 삼항 분할 구조를 사용한다.
• 해 집합 T⁻¹(0)까지의 거리와 원시 잔차 노름을 포함하는 재귀 부등식을 수립한다.
• 초기 진전 항 d₁과 η₁의 상한을 해 집합으로부터의 초기 반복점까지의 거리로 유도한다.
• 수렴 속도를 제어하고 유계성을 확보하기 위해 연산자 S, T, Σ를 사용한 가중 노름 구조를 활용한다.

실험 결과

연구 질문

• RQ1 복합 볼록 최적화 문제에서 sPADMM의 KKT 잔차에 대해 O(1/k)의 가중 반복 복잡도를 확립할 수 있는가?
• RQ2 스텝 사이즈가 황금비율을 초과할 경우 sPADMM은 명시적인 부적합도 경계를 갖는 에르고딕 수렴을 달성하는가?
• RQ3 ADMM 및 그 프록시멀 변형의 수렴 분석을 통합하고 확장하기 위해 일반화된 HPE 프레임워크를 구성할 수 있는가?
• RQ4 초기 반복점과 문제 구조는 sPADMM의 수렴 속도에 어떤 영향을 미치는가?
• RQ5 프록시멀 항의 강한 정정규성 조건을 요구하지 않고도 반복 복잡도 경계를 유도할 수 있는가?

주요 결과

• sPADMM는 복합 볼록 최적화 문제에서 KKT 잔차에 대해 O(1/k)의 가중 반복 복잡도를 달성한다.
• 수렴 속도는 최소한의 가정 하에 분석이 가능한 새로운 일반화된 HPE 프레임워크를 사용하여 확립된다.
• 이 결과는 큰 스텝 사이즈(≥ 황금비율)를 갖는 ADMM에 대한 에르고딕 반복 복잡도 문헌에서 핵심적인 격차를 메운다.
• d₁과 η₁의 상한은 해 집합 T⁻¹(0)으로부터의 초기 반복점까지의 제곱 거리에 비례한다.
• 프록시멀 항 S와 T가 S + Σ_φ_f + βAA* 또는 T + Σ_φ_g + βBB*가 정정규적이어야 한다는 조건이 필요로 하지 않는다.
• 수렴은 전역적이며, KKT 잔차와 원시-이중 반복점의 가중 노름을 포함한 수식을 통해 부적합도가 정량화된다.