[논문 리뷰] Conditions for Stability and Convergence of Set-Valued Stochastic Approximations: Applications to Approximate Value and Fixed point Iterations with Noise.

Arunselvan Ramaswamy, Shalabh Bhatnagar|arXiv (Cornell University)|2017. 09. 14.

Stochastic processes and financial applications인용 수 1

한 줄 요약

이 논문은 명시적으로 구성 가능한 리아푸노프 함수를 사용하여, 집합값 확률적 근사 알고리즘의 안정성과 수렴성을 쉽게 검증할 수 있는 충분조건을 수립한다. 이는 집합값 맵을 사용한 근사 가치 반복과 고정점 반복에 대한 모델에 종속되지 않는 첫 번째 분석을 제공하며, 이전의 가정을 크게 완화하면서도 거의 확실한 수렴을 보장한다.

ABSTRACT

The main aim of this paper is the development of easily verifiable sufficient conditions for stability (almost sure boundedness) and convergence of stochastic approximation algorithms (SAAs) with set-valued mean-fields, a class of model-free algorithms that have become important in recent times. In this paper we provide a complete analysis of such algorithms under three different, yet related sets of sufficient conditions, based on the existence of an associated global/local Lyapunov function. Unlike previous Lyapunov function based approaches, we provide a simple recipe for explicitly constructing the Lyapunov function, needed for analysis. Our work builds on the works of Abounadi, Bertsekas and Borkar (2002), Munos (2005), and Ramaswamy and Bhatnagar (2016). An important motivation for the flavor of our assumptions comes from the need to understand dynamic programming and reinforcement learning algorithms, that use deep neural networks (DNNs) for function approximations and parameterizations. These algorithms are popularly known as deep learning algorithms. As an important application of our theory, we provide a complete analysis of the stochastic approximation counterpart of approximate value iteration (AVI), an important dynamic programming method designed to tackle Bellman's curse of dimensionality. Further, the assumptions involved are significantly weaker, easily verifiable and truly model-free. The theory presented in this paper is also used to develop and analyze the first SAA for finding fixed points of contractive set-valued maps.

연구 동기 및 목표

• 집합값 평균장이 있는 확률적 근사 알고리즘의 거의 확실한 유계성과 수렴성을 보장하는 쉽게 검증할 수 있는 충분조건을 개발하는 것.
• 리아푸노프 함수를 체계적으로 구성하는 방법을 제공하여, 복잡한 학습 알고리즘의 실용적 분석을 가능하게 하는 것.
• 근사 가치 반복(AVI)의 확률적 근사 버전을 분석하고, 차원의 극복 문제(Bellman의 차원의 극복 문제)를 모델에 종속되지 않은 설정에서 다루는 것.
• 수축성 집합값 맵의 고정점 반복에 이론을 확장하여, 처음으로 그러한 확률적 근사 알고리즘을 제공하는 것.
• 딥 신경망을 함수 근사에 사용하는 딥 강화 학습 알고리즘의 분석을 지원하는 것.

제안 방법

• Abounadi 등(2002), Munos(2005), Ramaswamy & Bhatnagar(2016)의 이전 연구를 확장하여 리아푸노프 함수 기반 분석을 활용한다.
• 안정성과 수렴성을 위한 전역 또는 국소 리아푸노프 함수의 존재에 기반한 세 가지 관련된 충분조건 집합을 제안한다.
• 필요한 리아푸노프 함수를 명시적으로 구성하는 체계적 방법을 제공하여 실무에서의 검증을 단순화한다.
• 이 프레임워크를 근사 가치 반복(AVI)의 확률적 근사 버전 분석에 적용한다. 이는 핵심적인 동적 프로그래밍 방법이다.
• 수축성 집합값 맵의 고정점을 찾는 첫 번째 확률적 근사 알고리즘을 개발하고 분석함으로써 이론을 집합값 맵으로 확장한다.
• 가정을 더 약하게, 더 직관적으로, 진정으로 모델에 종속되지 않게 하여 딥 러닝 기반 강화 학습에 적합하게 한다.

실험 결과

연구 질문

• RQ1 집합값 평균장이 있는 확률적 근사 알고리즘의 거의 확실한 유계성과 수렴을 보장하는 조건은 무엇인가?
• RQ2 이러한 알고리즘에서 안정성과 수렴성을 검증하기 위해 리아푸노프 함수를 어떻게 명시적으로 구성할 수 있는가?
• RQ3 제안된 프레임워크는 근사 가치 반복의 확률적 근사 버전 분석에 적용될 수 있는가?
• RQ4 모델에 종속되지 않은 설정에서 집합값 업데이트를 사용할 때 수렴을 보장하기 위한 최소한의 검증 가능한 가정은 무엇인가?
• RQ5 수축성 집합값 맵의 고정점을 위한 확률적 근사 알고리즘을 개발하고 분석하는 것이 가능한가?

주요 결과

• 논문은 명시적으로 구성 가능한 리아푸노프 함수를 사용하여 집합값 확률적 근사 알고리즘의 거의 확실한 수렴을 위한 충분조건를 수립한다.
• 제안된 조건는 이전 방법보다 훨씬 약하고 더 쉽게 검증 가능하여 더 넓은 적용 가능성을 제공한다.
• 프레임워크는 근사 가치 반복(AVI)의 확률적 근사 버전을 성공적으로 분석하였으며, 이는 동적 프로그래밍의 핵심 방법이다.
• 이론은 수축성 집합값 맵의 고정점을 계산하기 위한 첫 번째 모델에 종속되지 않는 확률적 근사 알고리즘을 가능하게 한다.
• 이 방법은 복잡한 학습 알고리즘의 안정성 분석에서 핵심적인 장벽이었던 리아푸노프 함수를 체계적으로 구성하는 실용적인 방법을 제공한다.
• 결과는 딥 신경망을 함수 근사에 사용하는 딥 강화 학습 알고리즘의 이론적 기반을 뒷받침한다.