[논문 리뷰] Non-asymptotic Analysis of Biased Stochastic Approximation Scheme

Belhal Karimi, Błażej Miasojedow외 2명|arXiv (Cornell University)|2019. 02. 02.

Stochastic Gradient Optimization Techniques참고 문헌 36인용 수 27

한 줄 요약

이 논문은 비볼록이고 미분 가능한 목표 함수를 최소화하기 위한 일반적인 편향이 있는 확률적 근사 방법에 대한 비점근 수렴 분석을 제시한다. 여기서 이동항은 상태에 의존하는 마르코프 체인에 따라 달라지며, 평균장이 반드시 기울기가 아니어도 된다. 주요 기여는 약간의 조건 하에 정류점으로의 수렴 속도 보장을 제공함으로써, 온라인 EM 및 강화학습의 정책 그래เดียน트 방법 등에의 적용 가능성을 확장하는 것이다.

ABSTRACT

Stochastic approximation (SA) is a key method used in statistical learning. Recently, its non-asymptotic convergence analysis has been considered in many papers. However, most of the prior analyses are made under restrictive assumptions such as unbiased gradient estimates and convex objective function, which significantly limit their applications to sophisticated tasks such as online and reinforcement learning. These restrictions are all essentially relaxed in this work. In particular, we analyze a general SA scheme to minimize a non-convex, smooth objective function. We consider update procedure whose drift term depends on a state-dependent Markov chain and the mean field is not necessarily of gradient type, covering approximate second-order method and allowing asymptotic bias for the one-step updates. We illustrate these settings with the online EM algorithm and the policy-gradient method for average reward maximization in reinforcement learning.

연구 동기 및 목표

• 편향이 있는 확률적 근사 방법에 대한 비점근 수렴 분석이 비볼록 설정에서 부족한 점을 보완한다.
• 온라인 및 강화학습에서 적용 가능성을 제한하는 비편향 기울기와 볼록성 등의 제한적인 가정을 완화한다.
• 평균장이 반드시 기울기가 아니며, 점근적으로 편향이 있을 수 있는 일반적인 SA 체계를 분석한다.
• 최소한의 안정성 가정 하에 온라인 EM 및 정책 그래디언트 방법과 같은 알고리즘의 수렴 속도 결과를 제공한다.
• 복잡한 상태에 의존하는 역동성을 갖는 실용적인 온라인 학습 알고리즘의 이론적 기초를 확립한다.

제안 방법

• 상태에 의존하는 마르코프 체인에 따라 달라지는 이동항을 갖는 일반적인 확률적 근사 체계를 수립한다.
• 마르코프 체인의 정적분포에 대한 기대값으로 평균장을 정의함으로써 점근적 편향을 허용한다.
• 목표 함수를 특징짓고 이동항을 그 기울기와 연결하기 위해 부드러운 리아푸노프 함수 $ V $ 를 사용한다.
• 마르코프 체인과 마르팅게일 성질을 활용하여 $ V $ 의 기대 감소량에 대한 비점근 분석을 통해 수렴을 확립한다.
• 단계 크기 규칙과 노이즈의 모멘트 조건을 사용하여 기대 하위최적성 갭에 대한 경계를 유도한다.
• 이 체계를 두 가지 핵심 응용 분야인 온라인 EM 및 평균 보상 최대화를 위한 정책 그래디언트 방법에 적용한다.

실험 결과

연구 질문

• RQ1 상태에 의존하는 마르코프 체인을 갖는 편향된 확률적 근사 방법에 대해 비점근 수렴 속도를 확립할 수 있는가?
• RQ2 비볼록 최적화에서 한 스텝 갱신의 점근적 편향은 정류점으로의 수렴에 어떻게 영향을 미치는가?
• RQ3 반복값이 안정성을 유지하고 정류점의 이웃으로 수렴하기 위한 조건은 무엇인가?
• RQ4 제안된 체계는 이론적 보장을 갖는 온라인 EM 및 정책 그래디언트 방법에 적용 가능한가?
• RQ5 일반적인 노이즈 및 편향의 구조 하에서 최적의 수렴 속도를 보장하는 단계 크기 규칙은 무엇인가?

주요 결과

• 논문은 상태에 의존하는 마르코프 체인을 갖는 일반적인 편향된 확률적 근사 방법에 대해 정류점으로의 비점근 수렴 속도를 확립한다.
• 단계 크기와 모멘트 경계에 대한 약간의 조건 하에서 수렴 속도는 $ O(1/ au) $ 이다. 여기서 $ \tau $ 는 반복 횟수이다.
• 분석은 볼록성이나 비편향 기울기가 필요 없이 비볼록이고 부드러운 目적 함수에 적용 가능하다.
• 이 체계는 온라인 EM 및 정책 그래디언트 방법을 모두 포함하며, 정리 3.1은 일반 조건 하에서 온라인 EM에 대해 알려진 바 없는 첫 번째 비점근 수렴 속도를 제공한다.
• 할인 보상 추정기와 함께 사용되는 정책 그래디언트 방법은 할인 인자 $ \lambda $ 에 따라 의존하는 수렴 속도를 갖으며, 편향은 $ O(1 - \lambda) $ 이다.
• 반복값의 전역 유계성 조건을 요구하지 않으며, 국소 안정성과 리아푸노프 함수 분석에 기반한다.