[논문 리뷰] Navigating to the Best Policy in Markov Decision Processes

Aymen Al Marjani, Aurélien Garivier외 1명|arXiv (Cornell University)|2021. 06. 05.

Reinforcement Learning in Robotics참고 문헌 40인용 수 4

한 줄 요약

이 논문은 전이가 쿼리가 아니라 순차적으로 관찰되는 온라인 내비게이션 제약 조건 하에서 마르코프 결정 과정(MDP)에서 최적 정책 식별을 위한 최초의 알고리즘인 MDP-NaS를 제안한다. 문제에 의존하는 하한을 확립하고, MDP의 비가역성에 따라 수렴 속도가 달라지는 인스턴스별 샘플 복잡도를 증명하며, 균일 정책과 플러그인 정책을 혼합한 새로운 샘플링 규칙을 사용하여 비정상 마르코프 체인에 대한 비가역성 정리에 기반해 최적 상태-행동 빈도를 추적한다.

ABSTRACT

We investigate the classical active pure exploration problem in Markov Decision Processes, where the agent sequentially selects actions and, from the resulting system trajectory, aims at identifying the best policy as fast as possible. We propose a problem-dependent lower bound on the average number of steps required before a correct answer can be given with probability at least $1-δ$. We further provide the first algorithm with an instance-specific sample complexity in this setting. This algorithm addresses the general case of communicating MDPs; we also propose a variant with a reduced exploration rate (and hence faster convergence) under an additional ergodicity assumption. This work extends previous results relative to the \emph{generative setting}~\cite{pmlr-v139-marjani21a}, where the agent could at each step query the random outcome of any (state, action) pair. In contrast, we show here how to deal with the \emph{navigation constraints}, induced by the \emph{online setting}. Our analysis relies on an ergodic theorem for non-homogeneous Markov chains which we consider of wide interest in the analysis of Markov Decision Processes.

연구 동기 및 목표

• 행동가에 의해 자연 전이를 통해 다음 상태가 결정되는 순차적 관찰 제약 조건 하에서 무한할인 시간 MDP에서 최적 정책 식별(BPI) 문제를 다루는 것.
• 정확한 정책 식별 확률이 $1 - \delta$ 이상일 경우 예상 멈춤 시간에 대한 문제에 의존하는 하한을 유도하는 것.
• 이전의 생성 모델 가정의 한계를 극복하기 위해 온라인 환경에서 인스턴스별 샘플 복잡도를 갖는 알고리즘을 설계하는 것.
• 다양한 MDP 통신 구조(예: 비가역성 대비 단지 연결 가능한 MDP) 하에서 오рак루 정책의 일관된 추정을 위해 필요한 최소 강제 탐색 비율을 분석하는 것.
• 비정상 마르코프 체인에 대한 새로운 비가역성 정리를 사용하여 샘플링 빈도가 목표 오라클 할당으로 수렴함을 보장하는 이론적 보장을 수립하는 것.

제안 방법

• 내비게이션 제약 조건을 반영하기 위해 알고리즘의 전략 집합을 $\Omega(\mathcal{M})$로 제한함으로써 [MP21]의 정보 이론적 하한을 온라인 설정으로 확장하는 것.
• 균일 정책과 오라클 정책의 플러그인 추정치를 혼합하여 상태-행동 빈도가 최적 할당 $\omega^\star$로 수렴하도록 보장하는 MDP-NaS를 제안하는 것.
• 비정상 마르코프 체인 프레임워크를 사용하여 제안된 규칙 하에서 샘플링 빈도 $N_{sa}(t)/t$ 가 $\omega^\star$로 수렴함을 증명하며, 이러한 체인에 대한 새로운 비가역성 정리를 활용하는 것.
• 비가역성 MDP에서는 $1/\sqrt{t}$ 수준의 느린 탐색 비율만으로도 일관성이 확보되며, 단지 연결 가능한 MDP의 경우 $t^{-1/(m+1)}$ 수준의 더 느린 비율이 필요함을 입증하며, 여기서 $m$ 은 MDP의 구조와 관련된 값임.
• 마르코프 체인의 변형 경계를 활용하여 전이 커널의 편차가 정적 분포의 편차로 이어지는 방식을 연결함으로써 플러그인 정책 추정기의 강인성을 확보하는 것.
• 포isson 방정식 기법을 적용하여 정적 분포의 민감도를 모델 변형에 대해 바ounds하여 샘플링 규칙의 안정성 분석을 가능하게 하는 것.

실험 결과

연구 질문

• RQ1 생성 모델에서 온라인 내비게이션 설정으로 전환할 경우 최적 정책 식별의 샘플 복잡도는 어떻게 변화하는가?
• RQ2 온라인 MDP 설정에서 $\varepsilon$-최적 정책을 확률 $1 - \delta$ 이상으로 식별하기 위한 예상 멈춤 시간에 대한 문제에 의존하는 하한은 무엇인가?
• RQ3 순차적이고 쿼리 불가능한 전이 조건 하에서 상태-행동 샘플링 빈도가 오라클 할당 $\omega^\star$로 수렴하도록 보장하는 샘플링 규칙을 설계할 수 있는가?
• RQ4 연결 가능한 MDP에서 플러그인 정책 추정기의 일관성을 보장하기 위해 필요한 최소 강제 탐색 비율은 무엇인가?
• RQ5 MDP의 비가역성이 알고리즘의 탐색 비율과 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• 논문은 온라인 MDP에서 BPI에 대한 문제에 의존하는 하한을 확립하며, 이는 이전의 생성 모델 설정 결과를 확장한 것이다.
• MDP-NaS는 $\delta \to 0$의 渐진적 영역에서 인스턴스별 샘플 복잡도를 달성하며, 이는 온라인 내비게이션 설정에서 최초로 such 보장을 갖는다.
• 비가역성 MDP에서는 $1/\sqrt{t}$ 수준의 강제 탐색 비율만으로도 플러그인 추정기의 일관성이 확보되며, 일반적인 연결 가능한 경우보다 훨씬 빠른 속도이다.
• 일반적인 연결 가능한 MDP의 경우 $t^{-1/(m+1)}$ 수준의 더 느린 탐색 비율이 필요하며, 여기서 $m$ 은 MDP의 구조적 매개변수로 worst case에선 $S-1$ 수준으로 증가할 수 있다.
• 샘플링 빈도가 $\omega^\star$로 수렴하는 것은 비정상 마르코프 체인에 대한 새로운 비가역성 정리를 통해 증명되었으며, 이는 MDP 분석 분야에서 별도의 관심을 끌 만한 결과이다.
• 분석 결과, 정적 분포의 민감도가 모델 변형에 대해 상수 $\kappa_{\mathcal{M}}$ 로 유계임을 보이며, 이는 오라클 정책 추정의 강인성을 보장한다.