[논문 리뷰] Primal-dual stochastic gradient method for convex programs with many functional constraints

Yangyang Xu|arXiv (Cornell University)|2018. 02. 08.

Stochastic Gradient Optimization Techniques참고 문헌 34인용 수 16

한 줄 요약

이 논문은 기하급수적으로 많은 수의 함수형 제약 조건을 가진 볼록 최적화 문제를 위한 새로운 원본-이중 확률 경사 하강법을 제안한다. 이 방법은 각 반복마다 랜덤으로 한 개의 제약 조건만 평가한다. 보조 Lagrangian과 랜덤화된 이중 업데이트를 기반으로 한 적응형 확률적 하향 경사 업데이트를 활용하여, 볼록 문제의 경우 최적의 $O(1/\sqrt{k})$ 수렴 속도를 달성하고, 강한 볼록 문제의 경우 거의 최적의 $O((\log k)/k)$ 수렴 속도를 확보한다. 또한 반복당 계산 복잡도가 낮다.

ABSTRACT

Stochastic gradient method (SGM) has been popularly applied to solve optimization problems with objective that is stochastic or an average of many functions. Most existing works on SGMs assume that the underlying problem is unconstrained or has an easy-to-project constraint set. In this paper, we consider problems that have a stochastic objective and also many functional constraints. For such problems, it could be extremely expensive to project a point to the feasible set, or even compute subgradient and/or function value of all constraint functions. To find solutions of these problems, we propose a novel (adaptive) SGM based on the classical augmented Lagrangian function. Within every iteration, it inquires a stochastic subgradient of the objective, and a subgradient and the function value of one randomly sampled constraint function. Hence, the per-iteration complexity is low. We establish its convergence rate for convex problems and also problems with strongly convex objective. It can achieve the optimal $O(1/\sqrt{k})$ convergence rate for convex case and nearly optimal $O\big((\log k)/k\big)$ rate for strongly convex case. Numerical experiments on a sample approximation problem of the robust portfolio selection and quadratically constrained quadratic programming are conducted to demonstrate its efficiency.

연구 동기 및 목표

• 전체 투영이나 하향 경사 평가가 계산적으로 비현실적인, 기하급수적으로 많은 수의 함수형 제약 조건을 가진 볼록 확률 프로그램을 해결하는 데 도전하는 것.
• 높은 수의 제약 조건에도 불구하고 반복당 계산 복잡도가 낮은 확률적 1차 방법을 개발하는 것.
• 확률적 하향 경사와 함수 값 접근이 가능한 조건에서 볼록 및 강한 볼록 문제에 대해 최적 또는 거의 최적의 수렴 속도를 달성하는 것.
• 누적 하향 경사 노름에 비례하여 조정되는 적응형 스텝 사이즈 전략을 원본 변수에 도입하여 수렴을 향상시키는 것.
• 오직 목적 함수와 샘플된 제약 조건 함수의 확률적 하향 경사만을 가진 상태에서 최소한의 가정으로 수렴을 보장하는 것.

제안 방법

• 보조 Lagrangian 함수를 기반으로 한 원본-이중 확률 경사 하강법을 제안하여, 목적 함수와 제약 조건 항을 하나의 안장점 문제로 통합한다.
• 각 반복에서 균일하게 랜덤으로 하나의 제약 조건 함수를 샘플링하고, 오직 그 제약 조건의 하향 경사와 함수 값을 쿼리함으로써 반복당 비용을 감소시킨다.
• 샘플된 제약 조건의 하향 경사와 함수 값을 사용하여 보조 Lagrangian의 확률적 하향 경사를 구성함으로써, 투영된 하향 경사 하강법을 통한 원본 업데이트를 가능하게 한다.
• 원본 업데이트에 대해 대각 행렬 $\mathbf{D}_k$ 를 사용하며, 두 가지 설정을 제공한다: 일정 스텝 사이즈와 누적 하향 경사 노름에 기반한 적응형 스텝 사이즈.
• 샘플된 제약 조건에 해당하는 성분만 수정하는 랜덤 좌표 업데이트 규칙을 사용하여 이중 변수 $\mathbf{z}$ 를 업데이트한다.
• 누적된 확률적 하향 경사의 $\ell_2$-노름을 포함하는 $\mathbf{D}_k$ 내의 적응형 스텝 사이즈 전략을 도입하여, 불량 조건 문제 환경에서의 수렴을 향상시킨다.

실험 결과

연구 질문

• RQ1 기하급수적으로 많은 수의 함수형 제약 조건을 가진 볼록 프로그램을 다룰 수 있는, 반복당 계산 복잡도가 낮은 확률적 원본-이중 방법을 설계할 수 있는가?
• RQ2 각 반복마다 하나의 제약 조건만 샘플링하고, 목적 함수 및 제약 조건의 하향 경사가 확률적인 조건에서 어떤 수렴 속도를 달성할 수 있는가?
• RQ3 이러한 샘플링과 확률성 조건 하에서, 볼록 문제에 대해 최적의 $O(1/\sqrt{k})$ 수렴 속도와 강한 볼록 문제에 대해 거의 최적의 $O((\log k)/k)$ 수렴 속도를 달성할 수 있는가?
• RQ4 누적 하향 경사 노름에 기반한 적응형 스텝 사이즈 선택이 이론적 및 실질적 수렴에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 로버스트 포트폴리오 선택 및 이차 제약 조건을 가진 이차 프로그램과 같은 대규모 문제에서 수치적으로 효율적이고 확장 가능한가?

주요 결과

• 제안된 방법은 볼록 문제에 대해 최적의 $O(1/\sqrt{k})$ 수렴 속도를 달성하며, 이는 확률적 하향 경사 방법에서 알려진 최고 성능과 일치한다.
• 강한 볼록 문제에 대해서는 거의 최적의 수렴 속도인 $O((\log k)/k)$ 를 확보하며, 이는 로그 인자 외에는 타이트하다.
• 기본적인 가정 조건 하에서 수렴 보장이 이루어지며, 이는 확률적 하향 경사의 분산이 유계이고 제약 조건 함수의 하향 경사가 유계임을 포함한다.
• $\mathbf{D}_k$ 내의 적응형 스텝 사이즈 전략은 고정 스텝 사이즈에 비해 수치적 안정성과 수렴 속도를 향상시킨다.
• 로버스트 포트폴리오 선택과 이차 제약 조건을 가진 이차 프로그램에 대한 수치 실험을 통해, 제약 조건 수가 증가함에 따라 방법의 효율성과 확장 가능성이 확인되었다.
• 반복당 비용이 낮게 유지되며, 각 반복마다 오직 하나의 샘플된 제약 조건의 하향 경사와 함수 값만 필요로 하므로, 대규모 문제에 적합하다.