[논문 리뷰] Q-Learning for Stochastic Control under General Information Structures and Non-Markovian Environments

Ali̇ Devran Kara, Serdar Yüksel|arXiv (Cornell University)|2023. 10. 31.

Auction Theory and Applications인용 수 6

한 줄 요약

이 논문은 비마르코프성 및 일반 정보 구조를 가진 스토하스틱 제어 환경에서 에르고딕성 및 양성 조건 하에 Q-러닝의 일반 수렴 정리를 수립한다. 이는 연속 공간 MDP, 필터 안정성 조건이 있는 양자화된 믿음-MDP, 유한 창자료 POMDP, 다중 에이전트 시스템에서 Q-러닝이 부분적 또는 모델 지식이 없이도 near-최적 해에 수렴함을 보여주며, 이는 학습 가능성을 확장시킨다.

ABSTRACT

As a primary contribution, we present a convergence theorem for stochastic iterations, and in particular, Q-learning iterates, under a general, possibly non-Markovian, stochastic environment. Our conditions for convergence involve an ergodicity and a positivity criterion. We provide a precise characterization on the limit of the iterates and conditions on the environment and initializations for convergence. As our second contribution, we discuss the implications and applications of this theorem to a variety of stochastic control problems with non-Markovian environments involving (i) quantized approximations of fully observed Markov Decision Processes (MDPs) with continuous spaces (where quantization break down the Markovian structure), (ii) quantized approximations of belief-MDP reduced partially observable MDPS (POMDPs) with weak Feller continuity and a mild version of filter stability (which requires the knowledge of the model by the controller), (iii) finite window approximations of POMDPs under a uniform controlled filter stability (which does not require the knowledge of the model), and (iv) for multi-agent models where convergence of learning dynamics to a new class of equilibria, subjective Q-learning equilibria, will be studied. In addition to the convergence theorem, some implications of the theorem above are new to the literature and others are interpreted as applications of the convergence theorem. Some open problems are noted.

연구 동기 및 목표

• 비마르코프성 및 일반 정보 구조 하에서 스토하스틱 제어 환경에서 Q-러닝의 일반 수렴 정리를 수립하기.
• 기저 과정이 마르코프가 아니더라도, 에르고딕성 및 양성 조건 하에서 Q-러닝 반복의 극한을 특성화하기.
• 연속 공간 MDP, 부분 관측 가능 MDP(POMDP), 그리고 국소적 또는 제한된 정보를 가진 다중 에이전트 시스템으로 Q-러닝의 적용 가능성을 확장하기.
• 분산 스토하스틱 제어 환경에서 새로운 유형의 균형—주관적 Q-러닝 균형—을 도입하고 분석하기.
• 양자화 또는 유한 기억으로 인해 마르코프 성질이 깨지는 시스템에서 Q-러닝이 near-최적성을 달성할 수 있는 조건 규명하기.

제안 방법

• 에르고딕성 및 양성 조건 하에서 일반적인 수렴 정리를 제안하여 비마르코프 환경에 적용 가능한 스토하스틱 반복(예: Q-러닝 포함)에 적용하기.
• 약한 연속성 및 에르고딕성 조건을 사용하여 연속 공간 MDP에서 near-최적 성능를 달성하기 위해 Q-러닝의 일반 수렴 정리를 적용하기.
• 약한 펠러 연속성 및 온건한 필터 안정성 조건 하에서 POMDP의 믿음-MDP 근사에 대해 분석하여, 모델 지식이 있을 때 양자화 기반 학습 가능하게 하기.
• 균일 제어된 필터 안정성 조건 하에서 POMDP의 유한 창자료 근사에 대해 분석하여, 임의의 초기화 조건 하에서 모델 없이도 학습 가능하게 하기.
• 정책 갱신 및 가치 함수 추정을 통한 이중 시간 척도, 만족 기반 학습 체계를 통해 Q-러닝 알고리즘을 다중 에이전트 시스템에 적응시키기.
• 에이전트들이 전역 정보 없이도 국소적 탐색 및 가치 갱신에 의존하여 안정된 정책 프로파일로 수렴하는 주관적 Q-러닝 균형 프레임워크를 사용하기.

Figure 1: Q value convergence for non Markov and Markov state.

실험 결과

연구 질문

• RQ1 비마르코프성 및 스토하스틱 제어 환경에서 Q-러닝이 수렴하는 일반 조건은 무엇인가?
• RQ2 마르코프 성질이 양자화로 인해 깨지는 경우, 연속 공간 MDP에서 Q-러닝은 어떻게 적용할 수 있는가?
• RQ3 양자화된 믿음 표현 및 필터 안정성 조건 하에서 POMDP에서 수렴이 near-최적 정책으로 보장되기 위한 조건은 무엇인가?
• RQ4 모델 지식이 없이도 유한 기억 근사 기반으로 POMDP에서 Q-러닝이 near-최적성을 달성할 수 있는가?
• RQ5 분산 다중 에이전트 시스템에서 주관적 Q-러닝 균형의 성격과 존재 조건은 무엇인가?

주요 결과

• 비마르코프 환경에서도 Q-러닝은 에르고딕성 및 양성 조건에 의해 특성화된 극한으로 수렴한다.
• 연속 공간 MDP에서는 약한 연속성 및 에르고딕성 조건 하에서 Q-러닝이 near-최적성을 달성한다.
• POMDP의 믿음-MDP 근사에서는 필터 역학이 약한 펠러 연속성이고 필터 안정성이 확보될 경우 Q-러닝이 near-최적 정책으로 수렴한다.
• POMDP의 유한 창자료 근사에서는 균일 제어된 필터 안정성 조건 하에서 모델 지식 없이도 Q-러닝 수렴이 가능하다.
• 다중 에이전트 시스템에서는 만족 기반 및 이중 시간 척도 학습 조건 하에서 Q-러닝 동역학이 주관적 Q-러닝 균형으로 수렴하며, 엄밀한 국소 정보 조건 하에서도 가능하다.
• 주관적 Q-러닝 균형의 존재는 아직 미해결 문제이지만, 알고리즘 설계 및 안정성 분석에 의해 수렴 조건이 확립되었다.

Figure 2: An illustration of the $k-$ th exploration phase.