[논문 리뷰] Pseudomonotone Stochastic Variational Inequality Problems: Analysis and Stochastic Approximation Schemes

Aswin Kannan, Uday V. Shanbhag|arXiv (Cornell University)|2014. 10. 07.

Risk and Portfolio Optimization참고 문헌 59인용 수 5

한 줄 요약

이 논문은 적분을 필요로 하지 않는 존재성 및 유일성 조건을 제시하며, 편모노톤(stochastic variational inequality problems, PSVIs)에 대해 거의 확실히 수렴하는 외삽(egragradient) 및 미러-프록스(mirror-prox) 확률적 근사 방법을 제안하고, 더 강한 조건 하에서 평균 제곱 오차의 최적 수렴 속도 O(1/K)를 확립하여 기존 결과를 단조성 조건을 초월하여 확장한다.

ABSTRACT

The variational inequality problem represents an effective tool for capturing a range of phenomena arising in engineering, economics, and applied sciences. Prompted by the role of uncertainty, recent efforts have considered both the analysis as well as the solution of the associated stochastic variational inequality problem where the map is expectation-valued. Yet, a majority of the studies have been restricted to regimes where the map is monotone. This work is motivated by the growing interest in pseudomonotone stochastic variational inequality problems (PSVIs); such problems emerge from product pricing, fractional optimization problems, and subclasses of economic equilibrium problems arising in uncertain regimes. In this paper, we first observe that a direct application of standard existence/uniqueness theory requires a tractable expression for the integrals arising from the expectation. Instead, we develop integration- free sufficiency conditions for the existence and uniqueness of solutions to PSVIs. We consider the solution of PSVIs via stochastic approximation (SA) schemes, motivated by the observation that almost all of the prior SA schemes can accommodate monotone SVIs. Under various forms of pseudomonotonicity, we prove that the solution iterates produced by extragradient SA schemes converge to the solution set in an almost sure sense. This result is further extended to mirror-prox regimes and an analogous statement is also provided for monotone regimes under a weak-sharpness requirement. Under stronger conditions, we derive the optimal initial steplength and show that the mean-squared error in the solution iterates produced by the extragradient SA scheme converges at the optimal rate of O(1/K). Finally, both the asymptotics and the empirical rates of the schemes are studied on a set of pseudomonotone and non-monotone variational problems.

연구 동기 및 목표

• 불확실한 경제 및 공학 시스템에서 나타나는 편모노톤 확률적 변분부등식 문제(PSVIs)에 대한 이론적 도구의 부족을 해결한다.
• PSVIs에서 기대값 적분의 해석적 표현이 필요로 하는 표준 존재 이론의 한계를 극복한다.
• 편모노톤성 하에서 해 집합으로 거의 확실히 수렴하는, 특히 외삽 및 미러-프록스 방법을 포함한 확률적 근사 방법을 개발한다.
• 강한 조건, 즉 강한 편모노톤성과 리프시츠 연속성 하에서 평균 제곱 오차의 최적 수렴 속도 O(1/K)를 확립한다.
• 편모노톤 및 비단조성 테스트 문제에 대해 점근 수렴성과 실증 수렴 속도를 검증한다.

제안 방법

• 기대값 적분의 명시적 계산에 의존하지 않는 PSVIs의 해에 대한 적통(적분) 자유 존재성 및 유일성 조건을 도입한다.
• 다양한 형태의 편모노톤성 가정 하에서 PSVIs를 해결하기 위한 외삽 확률적 근사 방법을 제안한다.
• 마팅게일 수렴 분석과 편모노톤성 성질을 활용하여 해 반복의 거의 확실 수렴을 증명한다.
• 수렴 결과를 미러-프록스 방법으로 확장하고, 단조성 영역에서 약한 날카로움(weak-sharpness) 조건 하에서 유사한 결과를 확립한다.
• 최적의 초기 스텝 길이를 유도하고, 강한 편모노톤성과 리프시츠 조건 하에서 평균 제곱 오차가 최적 속도 O(1/K)로 감소함을 보인다.
• 수치 실험을 통해 점근적 행동과 다양한 편모노톤 및 비단조성 문제에 대한 실증 수렴 속도를 평가한다.

실험 결과

연구 질문

• RQ1 기대값 적분의 명시적 계산이 필요 없이 PSVIs의 해 존재성 및 유일성을 확보할 수 있는가?
• RQ2 편모노톤성 하에서 외삽 확률적 근사 방법이 PSVIs에 대해 거의 확실히 수렴하는가?
• RQ3 PSVIs에서 평균 제곱 오차의 수렴 속도 O(1/K)를 달성할 수 있으며, 이를 위한 조건은 무엇인가?
• RQ4 미러-프록스 방법은 PSVIs에 대해 어떻게 작동하며, 단조성 경우와 유사한 수렴 보장을 달성하는가?
• RQ5 이러한 방법들은 비단조성 및 편모노톤 변분부등식 문제에서 실증적으로 어떻게 성능을 발휘하는가?

주요 결과

• 논문은 PSVIs의 해 존재성 및 유일성에 대해 적통을 필요로 하지 않는 충분조건를 확립하여, 기대값 적분의 명시적 평가 없이도 분석이 가능하도록 한다.
• 외삽 확률적 근사 방법은 다양한 형태의 편모노톤성 하에서 해 집합으로 거의 확실히 수렴한다.
• 미러-프록스 방법 역시 PSVIs에 대해 거의 확실 수렴을 달성하며, 단조성 영역에서 약한 날카로움 조건 하에 유사한 결과를 보인다.
• 강한 조건, 즉 강한 편모노톤성과 리프시츠 연속성 하에서 외삽 방법의 평균 제곱 오차는 최적 속도 O(1/K)로 수렴한다.
• 최적의 초기 스텝 길이가 도출되었으며, 이는 평균 제곱 오차 기준으로 최고의 수렴 속도를 달성하는 데 기여한다.
• 수치 실험은 점근 수렴 행동을 확인하고, 편모노톤 및 비단조성 문제에서 이론적 예측과 일치하는 실증 수렴 속도를 보여준다.