[논문 리뷰] Simple and optimal methods for stochastic variational inequalities, I: operator extrapolation

Georgios Kotsalis, Guanghui Lan외 1명|arXiv (Cornell University)|2020. 11. 05.

Optimization and Variational Analysis참고 문헌 25인용 수 16

한 줄 요약

이 논문은 결정론적 및 확률적 변분부등식(VI)을 해결하기 위한 연산자 외삽법(OE)을 제안하며, 반복마다 단일 투영을 사용하여 최적 수렴 속도를 달성한다. 또한, 확률적 부드럽고 강하게 단조인 VI 문제에 대해 최초로 최적 복잡도를 확립하는 확률적 연산자 외삽법(SOE)을 제안한다. 블록 구조 문제로의 확장은 SBOE를 통해 이루어진다.

ABSTRACT

In this paper we first present a novel operator extrapolation (OE) method for solving deterministic variational inequality (VI) problems. Similar to the gradient (operator) projection method, OE updates one single search sequence by solving a single projection subproblem in each iteration. We show that OE can achieve the optimal rate of convergence for solving a variety of VI problems in a much simpler way than existing approaches. We then introduce the stochastic operator extrapolation (SOE) method and establish its optimal convergence behavior for solving different stochastic VI problems. In particular, SOE achieves the optimal complexity for solving a fundamental problem, i.e., stochastic smooth and strongly monotone VI, for the first time in the literature. We also present a stochastic block operator extrapolations (SBOE) method to further reduce the iteration cost for the OE method applied to large-scale deterministic VIs with a certain block structure. Numerical experiments have been conducted to demonstrate the potential advantages of the proposed algorithms. In fact, all these algorithms are applied to solve generalized monotone variational inequality (GMVI) problems whose operator is not necessarily monotone. We will also discuss optimal OE-based policy evaluation methods for reinforcement learning in a companion paper.

연구 동기 및 목표

• 소음이 있거나 확률적 연산자 정보가 존재하는 환경에서, 확률적 변분부등식(VI)을 해결하기 위한 최적이고 단순한 방법의 부족을 해결한다.
• 반복마다 단일 투영을 사용하여 일반화된 단조성 조건을 만족하는 결정론적 일반화된 단조성 VI 문제에 대해 최적 수렴을 달성하는 새로운 연산자 외삽(OE) 방법을 개발한다.
• OE를 확률적 환경으로 확장하기 위해 확률적 연산자 외삽(SOE)을 제안하며, 부드럽고 강하게 단조인 확률적 VI 문제에 대해 최적의 반복 복잡도를 달성한다.
• 블록 구조를 가진 대규모 결정론적 VI 문제의 계산 비용을 줄이기 위해, OE의 블록 구조 확장인 확률적 블록 연산자 외삽(SBOE)을 제안한다.
• 강화학습과 신호 추정 분야에서의 잠재적 응용을 포함한 일반화된 단조성 VI 문제에 대한 수치 실험을 통해 제안된 방법의 실용적 우수성을 입증한다.

제안 방법

• 반복마다 단일 투영 부분문제를 통해 단일 수열을 갱신하는 연산자 외삽(OE) 방법을 제안하며, 이는 경사하강법에 기반하지만 더 향상된 수렴 성질을 갖는다.
• 무ए자 추정기에서 연산자 F의 불편 추정치를 사용하는 OE의 확률적 변종인 확률적 연산자 외삽(SOE)을 도입하며, 일반화된 단조성 조건 하에서도 최적 수렴을 유지한다.
• OE의 블록 구조 확장으로서, SBOE를 설계하여 각 반복에서 블록의 일부만 처리함으로써 반복 비용을 감소시키면서도 수렴 보장을 유지한다.
• 일반화된 단조성 조건(3)과 리프시츠 연속성(2)을 활용하여 수렴 속도를 유도하며, 부드럽고 강하게 단조일 경우 최적의 복잡도를 보장한다.
• 현재 및 과거 경사 정보의 조합을 사용해 다음 반복점을 예측하는 새로운 외삽 단계를 업데이트 규칙에 통합하여 수렴 성능을 향상시킨다.
• 간격 함수 분석을 통해 수렴 속도를 확립하며, 약한 간격은 $\mathrm{gap}(\bar{x}) = \max_{x\in X} \langle F(x), \bar{x}-x \rangle $로 정의하고, 부드럽고 단조인 VI 문제에 대해 $\mathcal{O}(1/k)$ 수렴을 보이며, 강하게 단조인 경우에도 $\mathcal{O}(1/k)$ 수렴을 입증한다.

실험 결과

연구 질문

• RQ1 단일 투영 방법이 결정론적 일반화된 단조성 변분부등식에 대해 최적 수렴을 달성할 수 있는가?
• RQ2 부드럽고 강하게 단조인 확률적 변분부등식을 해결하기 위한 최적의 반복 복잡도는 무엇이며, 실용적인 알고리즘으로 달성 가능한가?
• RQ3 대규모 문제의 블록 구조를 고려해 연산자 외삽 프레임워크를 어떻게 확장하여 계산 비용을 줄일 수 있는가?
• RQ4 제안된 SOE 방법은 마르코프 노이즈가 존재하는 강화학습의 정책 평가 문제에 적용 가능한가?
• RQ5 일반화된 단조성 조건 하에서 OE 및 SOE의 수렴 행동은 어떠한가? 이 조건은 단조성과 강하게 단조성을 포함하지만 이들을 초월한다.

주요 결과

• OE 방법은 부드럽고 단조인 변분부등식 문제에 대해 최적의 $\mathcal{O}(1/k)$ 수렴 속도를 달성하며, 기존에 알려진 최고의 복잡도 범위와 일치한다.
• SOE는 부드럽고 강하게 단조인 확률적 VI 문제에 대해 최초로 알려진 최적의 $\mathcal{O}(1/\epsilon)$ 반복 복잡도를 달성한다. 여기서 $\epsilon$은 목표 정밀도이다.
• SBOE 방법은 블록 구조를 가진 대규모 결정론적 VI 문제에 대해 반복 비용을 감소시키며, 동일한 수렴 속도를 유지하면서 계산 효율성을 향상시킨다.
• 수치 실험을 통해 SOE가 일반화된 단조성 VI 문제에서 기존의 확률적 추가경사법 및 미러프록스 방법보다 수렴 속도와 강인성 면에서 뛰어나다는 것을 확인하였다.
• 제안된 방법들은 GAN의 미니맥스 문제, 일반선형 모델 기반 신호 추정, 강화학습의 정책 평가 문제 등 넓은 범위의 문제에 적용 가능하다.
• 이론적 분석을 통해 방법들이 일반화된 단조성 조건(3) 하에서도 수렴함을 입증하였으며, 이 조건은 단조성과 강하게 단조성을 엄밀히 포함하므로, 전통적인 가정을 초월한 적용 가능성을 넓혔다.