[논문 리뷰] A Stochastic Proximal Point Algorithm for Saddle-Point Problems

Luo Luo, Cheng Chen외 3명|arXiv (Cornell University)|2019. 09. 13.

Stochastic Gradient Optimization Techniques참고 문헌 32인용 수 9

한 줄 요약

이 논문은 $n$개의 강력한 볼록-볼록성 성분을 가진 볼록-볼록형 사 saddle-point 문제를 위한 확률적 프록시멀 점 알고리즘인 Point SAGA를 제안한다. 프록시멀 오ракูล과 분산 감소를 활용하여, 캐탈리스트 프레임워크에서 로그 항을 제거함으로써 조건 수에 대한 의존성이 향상된 선형 수렴 속도를 달성하며, 정책 평가 및 기타 응용 분야에서 뛰어난 효율성을 보여준다.

ABSTRACT

We consider saddle point problems which objective functions are the average of $n$ strongly convex-concave individual components. Recently, researchers exploit variance reduction methods to solve such problems and achieve linear-convergence guarantees. However, these methods have a slow convergence when the condition number of the problem is very large. In this paper, we propose a stochastic proximal point algorithm, which accelerates the variance reduction method SAGA for saddle point problems. Compared with the catalyst framework, our algorithm reduces a logarithmic term of condition number for the iteration complexity. We adopt our algorithm to policy evaluation and the empirical results show that our method is much more efficient than state-of-the-art methods.

연구 동기 및 목표

• 조건 수가 매우 클 경우 기존의 분산 감소 방법이 느린 수렴 속도를 보이는 문제를 해결하기 위해.
• 캐탈리스트 프레임워크와 달리 추가 가속 파rameter 조정이 필요 없는 확률적 프록시멀 점 알고리즘을 개발하기 위해.
• 프록시멀 오라클과 분산 감소를 조합하여 강력한 볼록-볼록형 사 saddle-point 문제에서 더 빠른 수렴을 달성하기 위해.
• 강화 학습에서의 정책 평가와 같은 실제 문제들에서의 실용적 슈퍼리오리티를 입증하기 위해.

제안 방법

• 알고리즘은 원래 볼록 최적화를 위한 Point SAGA를 확장하여, 각 성분 함수 $f_i$에 대해 프록시멀 오라클을 사용함으로써 사 saddle-point 문제에 적용한다.
• 각 반복 단계에서, 매개수 $\gamma$를 가진 무작위로 선택된 성분 $f_i$의 프록시멀 연산자를 계산하며, 많은 응용 분야에서 효율적으로 해결 가능하다.
• 과거 기울기의 누적 평균을 유지하고, 분산 감소 업데이트 규칙을 사용하여 선형 수렴을 보장한다.
• 프록시멀 연산자는 증강 목표 함수의 기울기를 0으로 설정함으로써 발생하는 선형 방정식계를 풀어 유도된다.
• 해결을 위해 웅버리 항등식을 사용하여 $\mathcal{O}(d)$ 시간 내에 해를 계산할 수 있어, 각 반복의 복잡도를 효율적으로 유지한다.
• 수렴 분석 결과, 캐탈리스트 기반 방법보다 조건 수에 대한 의존성이 향상된 $\tilde{\mathcal{O}}(1/K)$ 수렴 속도를 확보한다.

실험 결과

연구 질문

• RQ1 고조건 수를 가진 사 saddle-point 문제에 대해, 기존의 분산 감소 방법보다 더 빠른 수렴 속도를 달성할 수 있는 확률적 프록시멀 점 알고리즘이 존재하는가?
• RQ2 조건 수에 대한 의존성에서 로그 인자를 제거하면 실질적인 성능 향상이 이루어지는가?
• RQ3 프록시멀 오라클 프레임워크는 볼록 최적화에서 볼록-볼록형 사 saddle-point 문제로 효과적으로 확장될 수 있는가?
• RQ4 반복 횟수와 파rameter 조정 요구 사항 측면에서 Point SAGA는 캐탈리스트 기반 가속 방법보다 어떻게 비교되는가?
• RQ5 강화 학습에서 정책 평가에 대해 알고리즘이 효율적으로 적용되어 실증적 성과를 낼 수 있는가?

주요 결과

• 제안된 Point SAGA 알고리즘은 캐탈리스트 프레임워크에 비해 조건 수에 대한 로그 인자를 제거한 선형 수렴 속도를 달성한다.
• 알고리즘은 캐탈리스트 기반 방법보다 반복 횟수를 줄이며, 추가 가속 파rameter 조정이 필요 없어 더 실용적이다.
• 정책 평가에 대한 실증 결과에서 Point SAGA는 수렴 속도와 안정성 측면에서 최신 기술보다 뛰어난 성능을 보였다.
• EM-MSPBE 수식에 대한 프록시멀 연산자는 웅버리 항등식을 사용하여 $\mathcal{O}(d)$ 시간 내에 계산 가능하므로, 각 반복의 복잡도가 효율적으로 유지된다.
• 이론적 분석을 통해 평균화된 반복의 기대 제곱 오차가 $\mathcal{O}(1/K)$ 속도로 감소하며, 이에 대한 경계는 $\frac{2\sqrt{n}BR}{\mu} + R^2$에 의존한다.
• 최적의 스텝 사이즈 매개수 $\gamma$는 $\gamma = \frac{R}{B\sqrt{n}}$로 유도되며, 이는 수렴 경계를 최소화한다.