[논문 리뷰] Randomized First-Order Methods for Saddle Point Optimization

Cong D. Dang, Guanghui Lan|arXiv (Cornell University)|2014. 09. 30.

Stochastic Gradient Optimization Techniques참고 문헌 48인용 수 26

한 줄 요약

이 논문은 블록으로 구조화된 이중 공간을 가진 사鞍점 문제를 해결하기 위해 랜덤화된 원본-이중(RPD) 방법을 제안한다. 각 반복에서 오직 한 개의 랜덤으로 선택된 이중 부분문제만을 풀게 된다. 이 방법은 일반 이차형 문제에 대해 O(1/N) 수렴 속도를 달성하며, 강한 볼록성, 유계 타당 집합, 또는 초기 거리 추정이 필요 없이 부드러운 문제에 대해 O(1/N²) 수렴 속도를 확보한다.

ABSTRACT

In this paper, we present novel randomized algorithms for solving saddle point problems whose dual feasible region is given by the direct product of many convex sets. Our algorithms can achieve an ${\cal O}(1/N)$ and ${\cal O}(1/N^2)$ rate of convergence, respectively, for general bilinear saddle point and smooth bilinear saddle point problems based on a new prima-dual termination criterion, and each iteration of these algorithms needs to solve only one randomly selected dual subproblem. Moreover, these algorithms do not require strongly convex assumptions on the objective function and/or the incorporation of a strongly convex perturbation term. They do not necessarily require the primal or dual feasible regions to be bounded or the estimation of the distance from the initial point to the set of optimal solutions to be available either. We show that when applied to linearly constrained problems, RPDs are equivalent to certain randomized variants of the alternating direction method of multipliers (ADMM), while a direct extension of ADMM does not necessarily converge when the number of blocks exceeds two.

연구 동기 및 목표

• 데이터 분석 및 머신러닝에서 발생하는 대규모 사鞍점 문제를 위한 효율적인 1차 방법을 개발하기 위해, 반복마다 전체 데이터를 전수하는 것이 비현실적인 상황을 고려한다.
• 두 개 이상의 블록을 가진 문제에서 수렴하지 않을 수 있는 고전적 ADMM의 한계를 해결하기 위해, 랜덤화된 대안을 제안한다.
• 수렴 분석에서 강한 볼록성, 타당 집합의 유계성, 최적 해까지의 초기 거리에 대한 사전 지식이 필요 없도록 제거한다.
• 강한 볼록성이나 유계성 조건 없이 최소한의 가정 하에 수렴 속도를 확립한다. 이는 비유계 또는 비강한 볼록 문제에 대해서도 적용 가능하다.
• 선형 제약 조건이 있는 문제에 적용했을 때 제안된 RPD 방법이 랜덤화된 프록시멀 ADMM의 변종과 동치임을 보여준다.

제안 방법

• RPD 알고리즘은 각 반복에서 이중 분해에서 한 블록 $ i_t $ 를 랜덤으로 선택하고, 해당하는 이중 변수와 원본 변수만을 프록시멀 부분문제를 통해 갱신한다.
• 이 방법은 유계성 또는 강한 볼록성이 필요 없이 수렴 속도 분석이 가능한 새로운 원본-이중 종료 기준을 사용한다.
• 각 반복은 단일 부분문제를 풀며, 선택된 원본 블록 $ x_{i_t} $ 에 대해 프록시멀 최소화를 수행한 후, 이중 반복값의 가중 평균을 사용해 이중 변수를 갱신한다.
• 알고리즘은 수렴을 가속화하기 위해 적응형 스텝 사이즈 $ au_t, ho_t, heta_t $ 와 모멘타와 유사한 항 $ ar{y}^{t+1} $ 을 통합한다.
• 선형 제약 조건이 있는 문제에 적용했을 때, 이 방법은 프록시멀 ADMM의 랜덤화된 변종과 동치임을 입증한다.
• 분석은 수렴 경계를 날카롭게 만들 수 있는 새로운 이중 갭 기반의 종료 기준을 활용한다.

실험 결과

연구 질문

• RQ1 강한 볼록성 또는 유계 타당 집합이 없이도 일반 이차형 사鞍점 문제에 대해 랜덤화된 1차 방법이 O(1/N) 수렴 속도를 달성할 수 있는가?
• RQ2 이중 변수에 대한 랜덤화된 블록-좌표 접근 방식이 전체 블록 방법보다 수렴 속도와 계산 효율성에서 뛰어나지 않는가?
• RQ3 ADMM가 실패하는 경우, 특히 두 개 이상의 블록을 가진 문제에서 제안된 방법이 여전히 수렴할 수 있는가?
• RQ4 부드러운 사鞍점 문제에 대해 랜덤화된 원본-이중 방법의 수렴 속도는 얼마이며, 온건한 가정 하에 O(1/N²)를 달성할 수 있는가?
• RQ5 랜덤화된 원본-이중 방법과 프록시멀 ADMM 간의 관계는 무엇이며, 어떤 조건에서 동치가 되는가?

주요 결과

• RPD 방법은 강한 볼록성 또는 유계 타당 집합이 없이도 일반 이차형 사鞍점 문제에 대해 O(1/N) 수렴 속도를 달성한다.
• 부드러운 이차형 사鞍점 문제에 대해서는 향상된 O(1/N²) 수렴 속도를 확보하며, 이는 결정론적 방법의 최고 수준의 성능에 맞먹는다.
• 원본 또는 이중 타당 집합이 비유계일지라도 알고리즘이 수렴하며, 최적 해까지의 초기 거리에 대한 지식이 없이도 가능하다.
• 실험 결과, 표준 ADMM가 실패하는 Chen 등 [7]의 반례에서조차도 RPD 방법은 p=3 블록일지라도 최적 해로 수렴함을 보였다.
• 선형 제약 조건이 있는 문제에 대해 RPD 방법은 프록시멀 ADMM의 랜덤화된 변종과 동치이며, 표준 ADMM가 실패할 경우 수렴 가능한 대안을 제공한다.
• 수렴 분석은 강한 볼록성 또는 유계성 가정 없이 날카운 수렴 경계를 가능하게 하는 새로운 원본-이중 종료 기준에 기반한다.