[논문 리뷰] Variance Reduction for Matrix Games

Yair Carmon, Yujia Jin외 2명|arXiv (Cornell University)|2019. 07. 03.

Stochastic Gradient Optimization Techniques참고 문헌 43인용 수 12

한 줄 요약

이 논문은 네미로프스키의 프록스 방법과 새로운 '차이에서의 샘플링' 기반 기울기 추정기 기법을 융합하여, 행렬 게임에 대해 분산 감소를 달성하는 랜덤화된 원본-이중 알고리즘을 제안한다. 이 알고리즘은 $\min_x \max_y y^\top A x$ 형태의 최소-최대 문제를 $\epsilon$-정확도로 $\text{nnz}(A) + \sqrt{\text{nnz}(A)n}/\epsilon$ 시간 내에 해결하며, 희소성과 정확도가 높은 경우 기존의 정확한 기울기 방법과 스위치 기반 기울기 방법보다 향상된 성능을 보인다.

ABSTRACT

We present a randomized primal-dual algorithm that solves the problem $\min_{x} \max_{y} y^ op A x$ to additive error $ε$ in time $\mathrm{nnz}(A) + \sqrt{\mathrm{nnz}(A)n}/ε$, for matrix $A$ with larger dimension $n$ and $\mathrm{nnz}(A)$ nonzero entries. This improves the best known exact gradient methods by a factor of $\sqrt{\mathrm{nnz}(A)/n}$ and is faster than fully stochastic gradient methods in the accurate and/or sparse regime $ε\le \sqrt{n/\mathrm{nnz}(A)}$. Our results hold for $x,y$ in the simplex (matrix games, linear programming) and for $x$ in an $\ell_2$ ball and $y$ in the simplex (perceptron / SVM, minimum enclosing ball). Our algorithm combines Nemirovski's "conceptual prox-method" and a novel reduced-variance gradient estimator based on "sampling from the difference" between the current iterate and a reference point.

연구 동기 및 목표

• 유한합 최소화 문제에 비해 여전히 미흡한 분산 감소 기법의 격차를 메우기 위해 최소-최대 최적화 문제에 적용 가능한 분산 감소 방법을 개발하는 것.
• 특히 $\ell_1$-$\ell_1$ 및 $\ell_2$-$\ell_1$ 게임에 적합한 더 빠른 알고리즘 설계를 통해 이중선형 최소-최대 게임 문제를 해결하는 것.
• 희소성과 고정밀도 영역($\epsilon \leq \sqrt{n/\text{nnz}(A)}$)에서 비스위치 기반 및 완전 스위치 기반 기울기 방법보다 런타임 성능 향상을 달성하는 것.
• 프록스 방법 프레임워크 내에서 더 빠른 수렴을 가능하게 하는 분산 조건을 만족하는 새로운 '중심화된' 기울기 추정기 클래스를 개발하는 것.

제안 방법

• 알고리즘은 $\alpha > 0$로 매개변수화된 서브프로브램을 순차적으로 해결함으로써 $\epsilon$-정확도를 달성하는 네미로프스키의 개념적 프록스 방법을 사용한다.
• 새로운 '차이에서의 샘플링' 기법은 현재 반복값과 기준 반복값 간의 차이에서 샘플링하여 저분산 기울기 추정기를 구성한다.
• $\ell_1$-$\ell_1$ 게임의 경우, 분산 감소를 위해 $|y_i - y_{0,i}| / \|y - y_0\|_1$ 비례 확률으로 샘플링한다.
• $\ell_2$-$\ell_1$ 게임의 경우, 블록 좌표 $j$를 $([x]_j - [x_0]_j)^2 / \|x - x_0\|_2^2$ 비례 확률로 샘플링한다.
• 이 방법은 분산 조건 $\mathbb{E}\|\tilde{g} - \nabla f(x_0,y_0)\|_*^2 \leq L^2 \|x - x_0\|^2 + L^2 \|y - y_0\|^2$ 를 만족하는 새로운 정교화된 '중심화된' 기울기 추정기를 도입하여, 프록스 방법 프레임워크 내에서 더 빠른 수렴을 가능하게 한다.
• 알고리즘은 $\text{nnz}(A) + \sqrt{\text{nnz}(A)n}/\epsilon$ 런타임을 달성하며, 정확한 기울기 방법 대비 $\sqrt{\text{nnz}(A)/n}$ 배 빠르며, 정확도 또는 희소성 영역에서 스위치 기반 방법보다 우수하다.

실험 결과

연구 질문

• RQ1 유한합 최소화 문제에서의 분산 감소 기법을 최소-최대 문제에 적용하여 유사한 런타임 향상을 달성할 수 있는가?
• RQ2 이중선형 최소-최대 게임에서 낮은 분산 업데이트를 가능하게 하면서도 비편향성을 유지할 수 있는 기울기 추정기의 구조는 무엇인가?
• RQ3 제안된 '차이에서의 샘플링' 전략은 고정 분포 기반 분산 감소 기법과 비교해 수렴 속도에서 어떤가?
• RQ4 분산 감소 방법을 사용하여 행렬 게임을 해결할 때 샘플링 복잡도와 정확도 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 프록스 방법 프레임워크는 비균일하거나 적응형 샘플링 전략을 사용하는 최소-최대 문제로 확장될 수 있는가?

주요 결과

• 제안된 알고리즘은 $\min_x \max_y y^\top A x$ 문제를 $\text{nnz}(A) + \sqrt{\text{nnz}(A)n}/\epsilon$ 시간 내에 $\epsilon$-정확도로 해결하며, 정확한 기울기 방법 대비 $\sqrt{\text{nnz}(A)/n}$ 배 빠르게 한다.
• 이 알고리즘은 $\epsilon \leq \sqrt{n/\text{nnz}(A)}$ 영역에서 완전 스위치 기반 기울기 방법보다 성능이 뛰어나며, 이는 고정밀도 또는 희소 문제에 해당한다.
• '차이에서의 샘플링' 기울기 추정기는 분산 조건 $\mathbb{E}\|\tilde{g} - \nabla f(x_0,y_0)\|_*^2 \leq L^2 \|x - x_0\|^2 + L^2 \|y - y_0\|^2$ 를 만족하여 프록스 방법 프레임워크 내에서 더 빠른 수렴을 가능하게 한다.
• $\ell_2$-$\ell_1$ 게임의 경우, 추가적인 임계값 설정 메커니즘을 통해 기울기 추정기를 정교화하여 분산을 추가로 감소시키고 수렴 속도를 향상시킨다.
• 이 방법은 증명 가능 런타임 보장을 갖는 $\ell_1$-$\ell_1$ (행렬 게임, 선형 프로그래밍) 및 $\ell_2$-$\ell_1$ (SVM, 최소 봉우리 볼) 설정 모두에 적용 가능하다.
• 동적 샘플링 전략(46)은 고정 분포(45)보다 더 날카운 분산 조건 $\mathbb{E}\|\tilde{g} - g(w_0)\|_2^2 \leq \|A\|_F^2 \|w - w_0\|_2^2$ 를 제공하며, 일부 영역에서는 더 유리하다.