[논문 리뷰] General multilevel adaptations for stochastic approximation algorithms

Steffen Dereich|arXiv (Cornell University)|2015. 06. 17.

Stochastic Gradient Optimization Techniques참고 문헌 23인용 수 9

한 줄 요약

이 논문은 기대값 기반 함수 $ f(\theta) = \mathbb{E}[F(\theta, U)] $ 의 영을 계산하기 위한 일반적인 다중 수준 적응 기반 확률적 근사 알고리즘을 제안한다. 여기서 $ F(\theta, U) $ 는 다중 수준 몬테카를로를 통해 근사된다. 로빈스-몬로 및 폴락-럽퍼트 방법에 다중 수준 분산 감소 기법을 통합함으로써, 표준 편향, 모멘트 및 비용 가정 하에 고전적인 다중 수준 몬테카를로와 동일한 $ p $-번째 중심모멘트 오차 감쇠율을 달성하며, 최적의 계산 복잡도를 확보한다.

ABSTRACT

In this article we present and analyse new multilevel adaptations of stochastic approximation algorithms for the computation of a zero of a function $f\colon D o \mathbb R^d$ defined on a convex domain $D\subset \mathbb R^d$, which is given as a parameterised family of expectations. Our approach is universal in the sense that having multilevel implementations for a particular application at hand it is straightforward to implement the corresponding stochastic approximation algorithm. Moreover, previous research on multilevel Monte Carlo can be incorporated in a natural way. This is due to the fact that the analysis of the error and the computational cost of our method is based on similar assumptions as used in Giles (2008) for the computation of a single expectation. Additionally, we essentially only require that $f$ satisfies a classical contraction property from stochastic approximation theory. Under these assumptions we establish error bounds in $p$-th mean for our multilevel Robbins-Monro and Polyak-Ruppert schemes that decay in the computational time as fast as the classical error bounds for multilevel Monte Carlo approximations of single expectations known from Giles (2008).

연구 동기 및 목표

• 비용이 많이 드는 시뮬레이션을 통한 기대값 평가 시 표준 확률적 근사의 계산 비효율성을 해결한다.
• 기존의 다중 수준 몬테카를로 구현을 확률적 근사 알고리즘에 원활하게 통합할 수 있는 일반적인 프레임워크를 개발한다.
• 단일 기대값에 대한 다중 수준 몬테카를로의 최고 알려진 경계와 동일한 최적 수렴 속도를 달성하기 위해 $ p $-번째 중심모멘트 오차의 최적 수렴 속도를 확보한다.
• 표준 로빈스-몬로 방법에서 수축 상수 $ L $ 의 사전 지식이 필요 없도록 하기 위해 폴락-럽퍼트 평균화 기법을 도입한다.
• 최소한의 가정 하에 오차 및 계산 비용에 대한 이론적 보장을 확립하여 일반적인 볼록 도메인과 힐베르트 공간으로의 적용 가능성을 확장한다.

제안 방법

• 다중 수준 추정치를 사용하여 $ \mathbb{E}[F(\theta_n, U)] $ 를 추정하는 단일 다중 수준 로빈스-몬로 알고리즘을 제안하며, 수준 복잡도는 시간이 지남에 따라 증가한다.
• 기존의 다중 수준 몬테카를로와 호환성을 확보하기 위해 길레스 [7] 가 제시한 편향, $ p $-번째 중심모멘트 및 시뮬레이션 비용에 대한 동일한 가정을 사용한다.
• 수축 성질을 통합: $ \langle f(\theta), \theta - \theta^* \rangle \leq -L\|\theta - \theta^*\|^2 $, 이는 영 $ \theta^* $ 의 유일성과 안정성을 보장한다.
• 수축 상수 $ L $ 를 알 필요 없이도 최적 수렴 속도를 유지하기 위해 폴락-럽퍼트 평균화 기법을 도입한다.
• 오차 과정의 정밀한 $ p $-번째 중심모멘트 경계를 유도하기 위해 수정된 버크홀더-데이비스-건디 부등식(부록에서 증명)을 활용한다.
• $ \mathbb{R}^d $ 에서의 결과를 임의의 닫힌 볼록 도메인 $ D \subset \mathbb{R}^d $ 으로 일반화하며, 모든 결과가 분리 가능한 힐베르트 공간으로도 형식적으로 확장됨을 언급한다.

실험 결과

연구 질문

• RQ1 다중 수준 몬테카를로 분산 감소 기법을 체계적으로 확률적 근사 알고리즘에 통합하여 계산 효율성을 향상시킬 수 있는가?
• RQ2 편향, 모멘트 및 비용에 대한 표준 다중 수준 가정 하에 다중 수준 확률적 근사의 오차 경계는 어떻게 설정할 수 있는가?
• RQ3 다중 수준 로빈스-몬로 방법의 성능은 $ p $-번째 중심모멘트 오차 감쇠 측면에서 고전적 확률적 근사와 비교해 어떻게 되는가?
• RQ4 수축 상수 $ L $ 를 사전에 알 필요 없이 수렴 속도를 유지할 수 있는가? 만약 가능하면 어떻게 달성할 수 있는가?
• RQ5 이 프레임워크는 $ \mathbb{R}^d $ 를 초월해 얼마나 일반화될 수 있으며, 무한 차원 힐베르트 공간으로도 확장 가능한가?

주요 결과

• 표준 가정 하에 다중 수준 로빈스-몬로 방법은 길레스 [7] 에서 확보한 단일 기대값에 대한 다중 수준 몬테카를로와 동일한 $ p $-번째 중심모멘트 오차 감쇠율을 달성한다.
• 최대 $ p $-번째 중심모멘트 오차 $ \sup_{k \geq n} \mathbb{E}[\|\theta_k - \theta^*\|^p] $ 는 고전적 다중 수준 몬테카를로와 동일한 속도로 감쇠하며, 최적의 계산 복잡도 경계를 충족한다.
• 다중 수준 알고리즘의 폴락-럽퍼트 평균은 $ L $ 의 지식이 없이도 $ q < p $ 인 경우 로빈스-몬로 방법과 동일한 $ q $-번째 중심모멘트 오차 감쇠율을 달성한다.
• 오차 분석은 수정된 버크홀더-데이비스-건디 부등식의 새로운 응용에 기반하며, 이는 부록에서 기술적 도구로 제시된다.
• 이 프레임워크는 보편적이다: $ F(\theta, U) $ 를 위한 다중 수준 구현이 존재하면, 추가적인 코드 최소화로 해당 확률적 근사 알고리즘을 구현할 수 있다.
• 모든 이론적 결과는 형식적으로 분리 가능한 힐베르트 공간으로 확장되며, 계산 비용은 $ \mathbb{R}^d $ 경우와 유사하게 정의된다.