[논문 리뷰] Stochastic Approximation with Random Step Sizes and Urn Models with Random Replacement Matrices

Ujan Gangopadhyay, Krishanu Maulik|arXiv (Cornell University)|2017. 09. 01.

Stochastic processes and financial applications인용 수 3

한 줄 요약

이 논문은 랜덤 스텝 사이즈와 랜덤 드리프트를 갖는 새로운 확률적 근사 프레임워크를 제안하며, 이는 이질성 조건과 더불어 일관된 모멘트 조건 하에서 비율, 구성 및 수량 벡터의 거의 확실 수렴을 증명한다. 이 방법은 종속적이고 i.i.d.이지 않은 치환 행렬을 갖는 일반화된 우르늄 모델에 적용되며, 두 번째 모멘트를 가정하지 않더라도, 그리고 치환 행렬이 균형 잡히지 않거나 비결정적인 경우에도 수렴을 보인다.

ABSTRACT

Stochastic approximation algorithm is a useful technique which has been exploited successfully in probability theory and statistics for a long time. The step sizes used in stochastic approximation are generally taken to be deterministic and same is true for the drift. However, the specific application of urn models with random replacement matrices motivates us to consider stochastic approximation in a setup where both the step sizes and the drift are random, but the sequence is uniformly bounded. The problem becomes interesting when the negligibility conditions on the errors hold only in probability. We first prove a result on stochastic approximation in this setup, which is new in the literature. Then, as an application, we study urn models with random replacement matrices. In the urn model, the replacement matrices need neither be independent, nor identically distributed. We assume that the replacement matrices are only independent of the color drawn in the same round conditioned on the entire past. We relax the usual second moment assumption on the replacement matrices in the literature and require only first moment to be finite. We require the conditional expectation of the replacement matrix given the past to be close to an irreducible matrix, in an appropriate sense. We do not require any of the matrices to be balanced or nonrandom. We prove convergence of the proportion vector, the composition vector and the count vector in $L^1$, and hence in probability. It is to be noted that the related differential equation is of Lotka-Volterra type and can be analyzed directly.

연구 동기 및 목표

• 기존의 무시 가능 조건이 확률적으로만 성립하는 경우에, 랜덤 스텝 사이즈와 랜덤 드리프트를 갖는 설정으로 확률적 근사 이론을 확장하는 것.
• 독립적, 동일하게 분포된, 균형 잡힌, 또는 비결정적인 치환 행렬을 갖는 우르늄 모델을 분석하는 것.
• 치환 행렬에 대한 표준적인 두 번째 모멘트 가정을 완화하여, 유한한 첫 번째 모멘트만 요구하는 것.
• 비율, 구성 및 수량 벡터의 $L^1$ 수렴을 확립하고, 이는 따라서 확률 수렴을 의미한다.
• 한계 행동이 룩타-볼테라 유형의 미분방정식에 의해 지배되며, 이를 직접 분석할 수 있음을 보여주는 것.

제안 방법

• 스텝 사이즈와 드리프트가 모두 랜덤이지만, 수열이 균일하게 유계임을 보장하는 스토하스틱 근사 프로그램을 체계화하는 것.
• 오차 항을 마팅게일 차분의 구조로 모델링하며, 무시 가능 조건이 확률적으로만 성립하도록 하는 것.
• 과거를 조건으로 하여 그림 색상의 선택과 치환 행렬이 조건부로 독립이 되도록 정의함으로써 시간적 의존성을 허용하는 것.
• 과거를 조건으로 한 치환 행렬의 조건부 기대값이 적절한 의미에서 비가역 행렬에 가까워야 한다는 조건을 도입하는 것.
• $L^1$ 수렴을 증명하기 위해 라플라스 유형의 추론을 적용하여, 고전 결과를 랜덤이고 i.i.d.이지 않은 설정으로 확장하는 것.
• 시스템의 한계 행동을 특징짓기 위해 관련된 룩타-볼테라 유형의 미분방정식을 분석하는 것.

실험 결과

연구 질문

• RQ1 오차 항이 확률적으로만 무시 가능할 때, 랜덤 스텝 사이즈와 랜덤 드리프트를 갖는 설정으로 확률적 근사 이론을 확장할 수 있는가?
• RQ2 비i.i.d.이고 랜덤한 치환 행렬을 갖는 우르늄 모델에서 비율 벡터의 $L^1$ 수렴을 보장하는 조건은 무엇인가?
• RQ3 치환 행렬에 대한 두 번째 모멘트 가정을 어떻게 완화하여, 유한한 첫 번째 모멘트만 요구하도록 할 수 있는가?
• RQ4 조건부로 비가역인 치환 행렬의 기대값이 수렴을 보장하는 데 어떤 역할을 하는가?
• RQ5 이러한 우르늄 과정의 한계 행동은 룩타-볼테라 유형의 미분방정식으로 특징지을 수 있는가?

주요 결과

• 비율 벡터는 $L^1$ 수렴을 통해 룩타-볼테라 유형의 미분방정식의 해를 만족하는 극한값으로 수렴한다.
• 구성 및 수량 벡터의 수렴 또한 $L^1$ 수렴을 보이며, 이는 확률 수렴을 의미한다.
• 이 프레임워크는 라운드 간에 서로 독립적이지도, 동일하게 분포되지 않은 치환 행렬을 허용한다.
• 이 방법은 치환 행렬이 균형 잡히거나 비결정적이지 않아도 되므로, 실제 세계의 스토하스틱 과정에 대한 적용 범위를 넓힌다.
• 과거를 조건으로 한 치환 행렬의 조건부 기대값이 비가역 행렬에 가까워야 하며, 이는 장기적 안정성과 수렴을 보장한다.
• 관련된 미분방정식의 분석을 통해 우르늄 과정의 점근적 행동을 직접 이해할 수 있는 길을 제공한다.