[논문 리뷰] Variance-based stochastic extragradient methods with line search for stochastic variational inequalities

Alfredo N. Iusem, Alejandro Jofré외 2명|arXiv (Cornell University)|2017. 03. 01.

Stochastic Gradient Optimization Techniques참고 문헌 1인용 수 5

한 줄 요약

이 논문은 노이즈 있는 오라클을 가진 스토하스틱 변분부등식을 해결하기 위해 분산 감소(stochastic extragradient) 방법과 선형 탐색을 조합한 방법을 제안한다. 분산 감소 기법과 아르미조 타입의 선형 탐색 규칙을 결합함으로써, 호더 연속성 조건 하에서 수렴성을 확보하였으며, 유리한 경우에 결정론적 방법과 동일한 수렴 속도를 달성한다.

ABSTRACT

A dynamic sampled stochastic approximated (DS-SA) extragradient method for stochastic variational inequalities (SVI) is proposed that is \emph{robust} with respect to an unknown Lipschitz constant $L$. To the best of our knowledge, it is the first provably convergent \emph{robust} SA \emph{method with variance reduction}, either for SVIs or stochastic optimization, assuming just an unbiased stochastic oracle in a large sample regime. This widens the applicability and improves, up to constants, the desired efficient acceleration of previous variance reduction methods, all of which still assume knowledge of $L$ (and, hence, are not robust against its estimate). Precisely, compared to the iteration and oracle complexities of $\mathcal{O}(ε^{-2})$ of previous robust methods with a small stepsize policy, our robust method obtains the faster iteration complexity of $\mathcal{O}(ε^{-1})$ with oracle complexity of $(\ln L)\mathcal{O}(dε^{-2})$ (up to logs). This matches, up to constants, the sample complexity of the sample average approximation estimator which does not assume additional problem information (such as $L$). Differently from previous robust methods for ill-conditioned problems, we allow an unbounded feasible set and an oracle with multiplicative noise (MN) whose variance is not necessarily uniformly bounded. These properties are seen in our complexity estimates which depend only on $L$ and local second or forth moments at solutions. The robustness and variance reduction properties of our DS-SA line search scheme come at the expense of nonmartingale-like dependencies (NMD) due to the needed inner statistical estimation of a lower bound for $L$. In order to handle a NMD and a MN, our proofs rely on a novel localization argument based on empirical process theory. We also propose another robust method for SVIs over the wider class of Hölder continuous operators.

연구 동기 및 목표

• 노이즈 있는 오라클을 가진 스토하스틱 변분부등식을 해결하는 데 도전하는 것.
• 기울기 추정치의 분산을 줄임으로써 스토하스틱 외거그레디언트 방법의 수렴 속도를 향상시키는 것.
• 문제 매개변수에 대한 사전 지식이 필요 없이 단계 크기를 적응적으로 선택하는 선형 탐색 전략을 개발하는 것.
• 리프시츠 연속성 이외의 조건인 호더 연속성 조건 하에서 수렴 보장을 확립하는 것.
• 스토하스틱 근사 조건 하에서도 결정론적 방법과 동일한 수렴 속도를 달성하는 것.

제안 방법

• 스토하스틱 설정에서 수렴을 안정화하기 위해 두 단계 갱신을 사용하는 스토하스틱 외거그레디언트 프레임워크를 활용한다.
• 스토하스틱 기울기 추정치의 정확도를 향상시키기 위해 분산 감소 기법을 도입한다.
• 충분한 감소 조건에 기반해 단계 크기를 동적으로 조정하는 아르미조 타입의 선형 탐색 규칙을 적용한다.
• 충분한 감소 조건을 만족하지 못할 경우 단계 크기를 θ < 1 인 요소로 줄이는 백트랙킹 전략을 사용한다.
• 예측된 기울기 변화와 실제 기울기 변화의 차이의 노름을 포함하는 충분한 감소 조건에 의존한다.
• 기대 매핑의 호더 연속성 조건 하에서 수렴 보장을 도출하며, 이는 이전 결과를 일반화한다.

실험 결과

연구 질문

• RQ1 분산 감소 기법이 스토하스틱 외거그레디언트 방법의 수렴 속도를 향상시킬 수 있는가?
• RQ2 문제 매개변수에 대한 지식이 없이도 적응형 선형 탐색 규칙을 어떻게 설계할 수 있는가?
• RQ3 리프시츠 연속성 대신 호더 연속성 조건 하에서 어떤 수렴 보장을 확보할 수 있는가?
• RQ4 제안된 방법이 결정론적 방법과 동등한 수렴 속도를 달성할 수 있는가?
• RQ5 선형 탐색 규칙이 매핑의 연속성 모듈러스를 명시적으로 알지 못해도 충분한 감소를 보장할 수 있는가?

주요 결과

• 제안된 방법은 호더 연속성 조건 하에서 수렴성을 확보하여, 리프시츠 연속성 매핑을 초월한 적용 가능성을 넓혔다.
• 선형 탐색 규칙은 문제 매개변수에 대한 사전 지식 없이도 목적 함수의 충분한 감소를 보장한다.
• 분산 감소 기법은 표준 스토하스틱 외거그레디언트 방법 대비 더 높은 안정성과 빠른 수렴을 이끌어낸다.
• 예를 들어 매핑이 단조롭고 호더 연속적인 경우와 같이 유리한 설정에서는 결정론적 외거그레디언트 방법과 동일한 수렴 속도를 달성한다.
• 이론적 분석을 통해 약한 가정 하에서 기대값 기반 수렴을 확인하였으며, 반복 복잡도에 대한 명시적 상한을 도출하였다.