[논문 리뷰] A Block Successive Upper Bound Minimization Method of Multipliers for Linearly Constrained Convex Optimization

Mingyi Hong, Tsung‐Hui Chang외 4명|arXiv (Cornell University)|2014. 01. 28.

Sparse and Compressive Sensing Techniques참고 문헌 55인용 수 67

한 줄 요약

이 논문은 대규모 선형 제약 조건이 있는 볼록 최적화 문제를 위한 1차 원-이중 알고리즘인 블록 연속 상계 최소화 방법의 확장형(BSUM-M)을 제안한다. 이 알고리즘은 보조 상계 함수를 사용해 보조 Lagrangian의 국소적으로 날카로운 상계를 번갈아 최소화하고, 닫힌 형식으로 이중 변수를 갱신함으로써 정규 조건 하에서 최적 해로 수렴하며, 제약 조건이 없을 경우 강 볼록성이 없더라도 선형 수렴을 보인다.

ABSTRACT

Consider the problem of minimizing the sum of a smooth convex function and a separable nonsmooth convex function subject to linear coupling constraints. Problems of this form arise in many contemporary applications including signal processing, wireless networking and smart grid provisioning. Motivated by the huge size of these applications, we propose a new class of first order primal-dual algorithms called the block successive upper-bound minimization method of multipliers (BSUM-M) to solve this family of problems. The BSUM-M updates the primal variable blocks successively by minimizing locally tight upper-bounds of the augmented Lagrangian of the original problem, followed by a gradient type update for the dual variable in closed form. We show that under certain regularity conditions, and when the primal block variables are updated in either a deterministic or a random fashion, the BSUM-M converges to the set of optimal solutions. Moreover, in the absence of linear constraints, we show that the BSUM-M, which reduces to the block successive upper-bound minimization (BSUM) method, is capable of linear convergence without strong convexity.

연구 동기 및 목표

• 신호 처리, 무선 네트워킹, 스마트 그라이드 시스템에서 발생하는 대규모 선형 제약 조건이 있는 볼록 최적화 문제를 해결하기 위해.
• 블록 단위 업데이트와 국소 상계 근사치를 활용해 대규모 데이터에 대해 효율적으로 스케일링되는 1차 방법을 개발하기 위해.
• ADMM와 BCD를 일반화하여 상계 함수 선택의 유연성과 업데이트 순서(결정적 또는 랜덤)를 허용하기 위해.
• 기본 정규 조건 하에서 결정적 및 랜덤 블록 업데이트 방식 모두에 대해 수렴성을 확립하기 위해.
• 선형 제약 조건이 없을 경우 BSUM-M의 변종(BSUM)이 강 볼록성이 없더라도 선형 수렴을 달성할 수 있는지 입증하기 위해.

제안 방법

• BSUM-M 알고리즘은 원변수 및 이중변수 업데이트를 번갈아 수행하며, 원변수 단계에서는 보조 Lagrangian 함수의 국소적으로 날카로운 상계를 최소화한다.
• 각 원변수 블록은 고정 또는 랜덤 순서로 순차적으로 업데이트되며, 최소화가 용이한 보조 상계 함수를 사용한다.
• 이중 변수는 기울기 유형의 단계를 통해 닫힌 형식으로 갱신되며, 이는 이중 상승의 근사치이다.
• 이 방법은 원변수 업데이트 시 보조 Lagrangian 대신 사용자 정의 가능한 상계 함수를 허용함으로써 ADMM을 일반화한다.
• 알고리즘은 스케일링 및 수렴 성능 향상을 위해 결정적 또는 랜덤 블록 선택 전략을 모두 지원한다.
• 수렴성은 볼록성과 기울기의 Lipschitz 연속성 등을 포함한 표준 정규 조건 하에서 확립된다.

실험 결과

연구 질문

• RQ1 분리 가능한 비스무스터머 함수가 있는 대규모 선형 제약 조건이 있는 볼록 최적화 문제를 효율적으로 해결할 수 있는 1차 원-이중 방법을 설계할 수 있는가?
• RQ2 원변수 블록이 결정적 또는 랜덤 순서로 업데이트될 경우 BSUM-M 알고리즘이 최적 해 집합으로 수렴하는가?
• RQ3 선형 제약 조건이 없을 경우 BSUM-M이 강 볼록성이 없더라도 선형 수렴을 달성할 수 있는가?
• RQ4 실제 응용 분야인 수요 반응 및 압축 센싱에서 기존 방법(예: ADMM, 랜덤화 BCD)과 비교해 BSUM-M의 성능은 어떠한가?
• RQ5 신호 처리 및 스마트 그라이드 시스템에서 실용적인 수렴 속도와 확장성을 확보하면서 BSUM-M이 대규모 데이터 문제를 효과적으로 다룰 수 있는가?

주요 결과

• 블록 업데이트 순서가 결정적 또는 랜덤이든 간에, BSUM-M 알고리즘은 표준 정규 조건 하에서 최적 해 집합으로 수렴한다.
• 선형 제약 조건이 없을 경우 BSUM-M은 BSUM 방법으로 간소화되며, 강 볼록성이 없더라도 선형 수렴을 달성한다.
• 기저 추적 문제에서 데이터 행렬이 희박하고 문제 크기가 중간일 경우, BSUM-M은 랜덤화 BCD보다 더 우수한 성능을 보인다.
• 3000명의 사용자와 96개의 시간 간격을 가진 수요 반응 문제에서, BSUM-M은 비스케줄된 부하 대비 총 비용을 약 50% 감소시켰으며, 서브기울기 방법은 200회 반복 이내에 수렴하지 못했다.
• K=3000명의 사용자에 대해 BSUM-M은 총 비용 14.827×10³ 단위를 기록했고, 서브기울기 방법은 60.896×10³ 단위를 기록하여 수렴성과 비용 절감 측면에서 뛰어난 성능을 입증했다.
• 전력 소비 시간 경로도를 통해 BSUM-M이 공급 곡선 추적과 부하 스케줄링 안정화 측면에서 서브기울기 알고리즘을 능가하는 것으로 나타났다.