[논문 리뷰] Distributed Regularized Primal-Dual Method: Convergence Analysis and Trade-offs

Masoud Badiei Khuzani, Na Li|arXiv (Cornell University)|2016. 09. 27.

Distributed Control Multi-Agent Systems참고 문헌 17인용 수 15

한 줄 요약

이 논문은 전역 부등식 제약 조건을 가진 볼록 최적화를 위한 분산 정규화된 원-이중 방법을 제안한다. 라그랑주 승수의 노름을 제어하고 하위기울기 성장률을 조절하기 위해 라그랑주 승수에 대해 이차 정규화를 사용한다. 주요 기여는 결정론적 및 스토케스틱 변형 모두에 대해 수렴 속도와 제약 위반 감소 속도 사이의 이론적 트레이드오프를 증명한 것으로, 명시적인 수렴 속도가 제공된다.

ABSTRACT

We study deterministic and stochastic primal-dual sub-gradient algorithms for distributed optimization of a separable objective function with global inequality constraints. In both algorithms, the norm of the Lagrangian multipliers are controlled by augmenting the corresponding Lagrangian function with a quadratic regularization term. Specifically, we show that when the stepsize of each algorithm satisfies a certain restriction, the norm of the Lagrangian multipliers is upper bounded by an expression that is inversely proportional to the parameter of the regularization. We use this result to compute upper bounds on the sub-gradients of the Lagrangian function. For the deterministic algorithm, we prove a convergence rate for attaining the optimal objective value. In the stochastic optimization case, we similarly prove convergence rates both in the expectation and with a high probability, using the method of bounded martingale difference. For both algorithms, we demonstrate a trade-off between the convergence rate and the decay rate of the constraint violation, in the sense that improving the convergence rate slows the decay rate of the constraint violation and vice versa. We demonstrate the convergence of our proposed algorithms numerically for distributed regression with the hinge and logistic loss functions over different graph structures.

연구 동기 및 목표

• 대규모 네트워크 기반 시스템에 적합한 전역 부등식 제약 조건이 있는 볼록 최적화를 위한 분산 원-이중 알고리즘을 개발한다.
• 기존 방법에서 단형태에 대한 라그랑주 승수의 투영 계산 부담을 줄이기 위해 이차 정규화를 도입한다.
• 립시츠 연속성 가정 하에 결정론적 및 스토케스틱 변형에 대해 알고리즘의 수렴 속도를 확립한다.
• 특히 유계 제약 조건과 엄격하게 타당한 제약 조건에서의 경우, 수렴 속도와 제약 위반 감소 속도 사이의 트레이드오프를 분석한다.
• 다양한 그래프 구조에서 힌지 손실 및 로지스틱 손실을 사용한 분산 회귀를 통해 방법의 효용성을 수치적으로 검증한다.

제안 방법

• 이중 변수(라그랑주 승수)에 대한 이차 페널티를 라그랑주 함수에 도입함으로써, 이중 변수의 노름이 정규화 매개수의 역수로 유계가 되도록 보장한다.
• 각 에이전트는 타당 집합을 포함하는 유클리드 볼 위에 프로젝션을 통해 원변수를 갱신하며, 이는 닫힌 형태의 해를 통해 효율적인 계산을 가능하게 한다.
• 정규화된 라그랑주 함수의 하위기울기를 사용해 이중 변수를 갱신하며, 수렴과 유계성을 보장하는 스텝 사이즈 규칙을 적용한다.
• 스토케스틱 변형에서는 각 에이전트가 반복마다 불등식 제약 조건의 하나의 하위기울기만 계산하므로, 결정론적 경우에 비해 반복당 비용을 감소시킨다.
• 수렴 분석은 정규화된 이중 변수의 노름을 통해 하위기울기의 노름을 유계로 제한함으로써 수행되며, 기대값과 고확률 수렴 속도를 도출할 수 있다.
• 스토케스틱 설정에서 고확률 수렴을 증명하기 위해 유계 마틴갈 데이타 차분 방법을 사용한다.

실험 결과

연구 질문

• RQ1 분산 원-이중 방법에서 라그랑주 승수의 노름을 어떻게 제어할 수 있을까? 이는 수렴성과 안정성을 보장하기 위함이다.
• RQ2 최적 목표 함수 값에 수렴하는 속도와 제약 위반 감소 속도 사이의 트레이드오프는 무엇인가?
• RQ3 모든 제약 조건의 하위기울기를 각 단계에서 모두 계산하지 않아도 되는 분산 스토케스틱 원-이중 알고리즘을 설계할 수 있는가?
• RQ4 최적점에서 제약 조건이 유계인지 여부에 따라 수렴성과 제약 위반 사이의 트레이드오프가 달라지는가?
• RQ5 립시츠 연속성 조건 하에 결정론적 및 스토케스틱 변형에 대해 보장할 수 있는 수렴 속도는 무엇인가?

주요 결과

• 라그랑주 승수의 노름은 정규화 매개수의 역수로 비례하는 표현에 의해 상한선으로 유계가 되며, 이는 하위기울기 노름 제어에 기여한다.
• 결정론적 알고리즘의 경우, 최적 목표 함수 값에 도달하는 데 O(1/T)의 수렴 속도가 증명된다. 여기서 T는 반복 횟수이다.
• 스토케스틱 케이스에서는 기대값 기반 수렴 속도로 O(1/T)와 고확률 기반 수렴 속도로 O(log T / T)가 유도되었으며, 이는 유계 마틴갈 데이타 차분 방법에 기반한다.
• 수렴 속도와 제약 위반 감소 속도 사이에 근본적인 트레이드오프가 존재한다. 한쪽을 향상시키면 다른 쪽이 악화되며, 특히 최적점에서 제약 조건이 유계일 경우 더욱 두드러진다.
• 제약 조건이 최적점에서 엄격하게 타당할 경우, 이 트레이드오프는 사라지며, 이는 수렴 행동의 구조적 차이를 시사한다.
• 수치 결과는 다양한 그래프 구조에서 힌지 손실 및 로지스틱 손실을 사용한 분산 회귀에서 수렴이 확인되었으며, 이는 이론적 결과를 검증한다.