[논문 리뷰] Randomized Methods for Saddle Point Computation

Cong D. Dang, Guanghui Lan|arXiv (Cornell University)|2014. 09. 30.

Stochastic Gradient Optimization Techniques인용 수 2

한 줄 요약

이 논문은 다중 볼록 집합으로 구성된 이중 탇도 영역을 가진 사鞍점 문제를 위한 랜덤화된 원시-이중 알고리즘을 소개한다. 각 반복에서 랜덤으로 선택된 하나의 이중 부분문제만을 해결하고, 새로운 종료 기준을 사용함으로써, 강한 볼록성, 유계 영역, 또는 초기 거리 추정치가 필요 없이 일반적인 사鞍점 문제와 부드러운 이항형 사鞍점 문제에 대해 각각 O(1/N) 및 O(1/N²) 수렴 속도를 달성한다.

ABSTRACT

In this paper, we present novel randomized algorithms for solving saddle point problems whose dual feasible region is given by the direct product of many convex sets. Our algorithms can achieve an ${\cal O}(1/N)$ and ${\cal O}(1/N^2)$ rate of convergence, respectively, for general bilinear saddle point and smooth bilinear saddle point problems based on a new prima-dual termination criterion, and each iteration of these algorithms needs to solve only one randomly selected dual subproblem. Moreover, these algorithms do not require strongly convex assumptions on the objective function and/or the incorporation of a strongly convex perturbation term. They do not necessarily require the primal or dual feasible regions to be bounded or the estimation of the distance from the initial point to the set of optimal solutions to be available either. We show that when applied to linearly constrained problems, RPDs are equivalent to certain randomized variants of the alternating direction method of multipliers (ADMM), while a direct extension of ADMM does not necessarily converge when the number of blocks exceeds two.

연구 동기 및 목표

• 복합 이중 탇도 영역을 가진 사鞍점 문제를 해결하기 위한 효율적인 랜덤화 알고리즘을 개발하는 것.
• 강한 볼록성 또는 교란 항목에 의존하지 않고도 더 빠른 수렴 속도 — 특히 일반적인 경우 O(1/N) 및 부드러운 이항형 문제의 경우 O(1/N²) — 를 달성하는 것.
• 원시 또는 이중 탇도 영역이 유계임을 가정하거나 최적 해 집합까지의 초기 거리를 추정할 필요를 제거하는 것.
• 선형 제약 조건이 있는 설정에서 제안된 랜덤화 원시-이중 방법과 랜덤화 ADMM 변형 간의 등가성을 확립하는 것.
• 세 개 이상의 블록이 존재할 경우 표준 ADMM이 수렴하지 못함을 입증하여, 대안적 접근이 필요함을 강조하는 것.

제안 방법

• 각 반복에서 이중 부분문제 중 하나를 균일하게 무작위로 선택함으로써 단계당 계산 비용을 감소시킨다.
• 최적 해 집합에 대한 사전 지식이 없더라도 수렴을 이끄는 데 도움이 되는 새로운 원시-이중 종료 기준을 도입한다.
• 목적 함수의 강한 볼록성 가정이나 교란 항목 추가 없이도 방법을 운영하도록 설계된다.
• 원시 또는 이중 탇도 영역이 무한할 경우에도 적용 가능하도록 설계된다.
• 선형 제약 조건이 있는 문제에 적용했을 때, 이 프레임워크는 랜덤화 ADMM 변형과 동일한 결과를 도출한다.
• 최소한의 가정에 기반한 수렴 분석가능하며, 오직 볼록성과 문제 구조에 의존한다.

실험 결과

연구 질문

• RQ1 강한 볼록성이 없이도, 부분문제의 랜덤 선택이 일반적인 이항형 사鞍점 문제에 대해 O(1/N) 및 O(1/N²) 수렴 속도를 달성할 수 있는가?
• RQ2 최적 해 집합에 대한 사전 지식이 없이도 원시-이중 종료 기준을 어떻게 설계하여 수렴을 보장할 수 있는가?
• RQ3 선형 제약 조건이 있는 문제에서 제안된 랜덤화 원시-이중 방법과 랜덤화 ADMM 변형 간의 관계는 어떠한가?
• RQ4 표준 ADMM은 왜 블록 수가 두 개를 초과할 경우 수렴하지 못하며, 이 제약은 랜덤화를 통해 극복될 수 있는가?
• RQ5 예를 들어 유계 탇도 영역이 없거나 초기 거리 추정치가 없을 경우, 어떤 정도로 최소한의 가정 하에 수렴을 보장할 수 있는가?

주요 결과

• 제안된 랜덤화 원시-이중 알고리즘은 일반적인 이항형 사鞍점 문제에 대해 O(1/N) 수렴 속도를 달성한다.
• 부드러운 이항형 사鞍점 문제의 경우, 알고리즘은 향상된 O(1/N²) 수렴 속도를 달성한다.
• 목적 함수의 강한 볼록성 또는 강한 볼록 교란 항목의 추가가 필요 없다.
• 원시 또는 이중 탇도 영역이 무한할 경우에도 알고리즘은 여전히 수렴한다.
• 최적 해 집합까지의 초기 점에서의 거리 추정이 필요 없다.
• 선형 제약 조건이 있는 문제에 적용했을 때, 랜덤화 원시-이중 방법은 랜덤화 ADMM 변형과 동일하며, 반면 표준 ADMM은 블록 수가 두 개를 초과할 경우 수렴하지 못한다.