[논문 리뷰] A Randomized Block-Coordinate Primal-Dual Method for Large-scale Stochastic Saddle Point Problems

Erfan Yazdandoost Hamedani, Afrooz Jalilzadeh외 1명|arXiv (Cornell University)|2019. 07. 08.

Computational Geometry and Mesh Generation참고 문헌 36인용 수 4

한 줄 요약

이 논문은 대규모 유한합 축합-볼록 사 saddle point 문제를 위한 이重난 랜덤라이즈드 블록좌표 원자-쌍대 알고리즘을 제안한다. 이는 랜덤라이즈드 블록 업데이트와 점진적 분산 감소를 결합한다. 이 알고리즘은 $ olimits ext{ergodic convergence rate}$가 $ olimits ext{O}( olimits\log K / K)$에 도달하며, 결정론적 방법의 최고 수준의 속도를 달성하고, 거의 확실하게 사 saddle point로 수렴함을 보였다.

ABSTRACT

We consider (stochastic) convex-concave saddle point (SP) problems with high-dimensional decision variables, arising in various applications including machine learning problems. To contend with the challenges in computing full gradients, we employ a randomized block-coordinate primal-dual scheme in which randomly selected primal and dual blocks of variables are updated. We consider both deterministic and stochastic settings, where deterministic partial gradients and their randomly sampled estimates are used, respectively, at each iteration. We investigate the convergence of the proposed method under different blocking strategies and provide the corresponding complexity results. While the best-known computational complexity result for computing a saddle point with $\varepsilon$ primal-dual gap for deterministic primal-dual methods using full gradients is $\mathcal O(\max\{m,n\}^2/\varepsilon)$, where $m$ and $n$ denote the dimensions of primal and dual variables, respectively, we show that our proposed randomized block-coordinate method achieves an improved complexity of $\mathcal O(mn/\varepsilon)$ assuming a coordinate-friendly structure on the problem. Moreover, for the stochastic setting where a mini-batch sample gradient is utilized, we show a computational complexity of $ ilde{\mathcal{O}}(m^2n^2/\varepsilon^2)$ through acceleration. Finally, almost sure convergence of the iterate sequence to a saddle point is established.

연구 동기 및 목표

• 기계 학습에서 발생하는 로버스트 분류 및 커널 행렬 학습과 같은 대규모 축합-볼록 사 saddle point 문제를 유한합 구조로 다루기 위해.
• 비이차형 결합 함수와 많은 수의 원자-쌍대 블록 변수를 처리할 수 있는 효율적인 알고리즘 개발을 위해.
• 스토하스틱 그래디언트 근사가 존재하는 상황에서도 로그 인자까지의 결정론적 수렴 속도를 확보하기 위해.
• 약한 가정 하에 반복 수렴값이 사 saddle point로 거의 확실하게 수렴함을 입증하기 위해.
• 분산 감소 기법을 블록좌표 및 비이차형 사 saddle point 문제로 확장하기 위해.

제안 방법

• 각 반복에서 랜덤으로 선택된 원자 및 쌍대 블록 쌍 $(i_k, j_k)$를 업데이트하기 위한 랜덤라이즈드 블록좌표 기반의 알고리즘을 사용한다.
• 시간이 지남에 따라 그래디언트의 배치 크기를 증가시켜 점진적 분산 감소를 구현한다. 이는 스토하스틱 추정치의 분산을 감소시킨다.
• 수렴 성능 향상과 적응성 향상을 위해 블록 별로 다른 스텝 사이즈 $\tau_i$ 및 $\sigma_j$를 도입한다.
• 이중 랜덤라이즈드 프레임워크를 적용한다: 블록의 랜덤 선택과 유한합 내 구성 함수의 랜덤 샘플링.
• 부드럽지 않은 성분 $f_i$ 및 $h_j$를 다루기 위해 브레그만 발산 항을 포함한 프록시멀 유사 업데이트를 적용한다.
• 유한합, 비이차형 사 saddle point 문제의 구조를 활용하여 리아푸노프 함수와 갭 메트릭을 통해 수렴성을 분석한다.

실험 결과

연구 질문

• RQ1 랜덤라이즈드 블록좌표 원자-쌍대 방법이 유한합, 비이차형 사 saddle point 문제에 대해 비점근 수렴 속도 $\mathcal{O}(\log K / K)$를 달성할 수 있는가?
• RQ2 증가하는 배치 크기를 통한 점진적 분산 감소가 블록 업데이트를 동반한 대규모 사 saddle point 문제에서 수렴을 향상시키는가?
• RQ3 블록의 랜덤 선택과 스토하스틱 그래디언트를 사용할 때 반복 수렴값이 사 saddle point로 거의 확실하게 수렴하는가?
• RQ4 제안된 방법의 수렴 속도가 로그 인자까지의 차이를 제외하고 결정론적 원자-쌍대 방법과 비교해 유사한가?
• RQ5 블록 별 스텝 사이즈와 랜덤 블록 선택은 비이차형, 대규모 문제에서 수렴에 어떤 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 분산 감소 기법을 활용하여 $ olimits ext{ergodic convergence rate}$가 $ olimits ext{O}( olimits\log K / K)$에 도달하며, 이는 이 유형의 문제에 대해 특화된 방법으로서는 최초로 이 수렴 속도를 확보한 결과이다.
• 단일 샘플 그래디언트 케이스에서는 비점근 수렴 속도 $ olimits ext{O}( olimits\log K / \sqrt{K})$를 확보하였으며, 이는 스토하스틱 방법의 최고 수준의 속도와 일치한다.
• 블록 선택 과정이 마코프 체인에서 단일 순환 클래스를 이룰 경우, 반복 수렴값이 사 saddle point로 거의 확실하게 수렴함을 증명하였다.
• 수렴 분석을 통해 갭 메트릭이 $ olimits ext{O}( olimits\log K / K)$ 속도로 감소함을 입증하였으며, 이는 최고 수준의 결정론적 수렴 속도와 로그 인자까지 일치한다.
• 이 방법은 제약 조건 수가 많고 비이차형 결합 항이 존재하는 문제들, 예를 들어 로버스트 분류 및 커널 행렬 학습에서 발생하는 문제들에도 적용 가능하다.
• 이론적 결과는 리아푸노프 함수와 갭 기반 분석에 의해 뒷받침되며, 미분 가능성과 볼록성에 대한 약한 가정 하에 수렴이 증명된다.