[논문 리뷰] Reinforcement Learning in Factored MDPs: Oracle-Efficient Algorithms and Tighter Regret Bounds for the Non-Episodic Setting

Ziping Xu, Ambuj Tewari|arXiv (Cornell University)|2020. 02. 06.

Reinforcement Learning in Robotics참고 문헌 32인용 수 5

한 줄 요약

이 논문은 사실화된 마르코프 결정 과정(FMDPs)에 대해 오рак루 효율적인 강화학습 알고리즘을 제안하며, 새로운 연결성 측정 기준인 사실화 스펜(factored span)을 도입하여 더 날카운 감소한 리그레트 한계를 확보한다. 제안된 DORL 및 PSRL 알고리즘은 특수화되었을 때 표준 MDP 성능에 가까운 near-optimal 리그레트 한계를 달성하며, FSRL 알고리즘은 직경 대신 사실화 스펜을 활용하여 상한과 하한 리그레트 한계 사이의 격차를 줄인다.

ABSTRACT

We study reinforcement learning in non-episodic factored Markov decision processes (FMDPs). We propose two near-optimal and oracle-efficient algorithms for FMDPs. Assuming oracle access to an FMDP planner, they enjoy a Bayesian and a frequentist regret bound respectively, both of which reduce to the near-optimal bound $\widetilde{O}(DS\sqrt{AT})$ for standard non-factored MDPs. We propose a tighter connectivity measure, factored span, for FMDPs and prove a lower bound that depends on the factored span rather than the diameter $D$. In order to decrease the gap between lower and upper bounds, we propose an adaptation of the REGAL.C algorithm whose regret bound depends on the factored span. Our oracle-efficient algorithms outperform previously proposed near-optimal algorithms on computer network administration simulations.

연구 동기 및 목표

• 비에피소딕 사실화 MDPs에 대해 다항 수준의 FMDP 플래너 오라클 호출을 사용하는 오라클 효율적인 알고리즘을 설계한다.
• 기존의 직경 대신 더 날카운 사실화 전용 연결성 측정 기준을 도입하여 FMDPs에서 리그레트 한계를 향상시킨다.
• 기존 상한과 하한 리그레트 한계 사이의 격차를 새로운 알고리즘 적응을 통해 줄인다.
• 특히 컴퓨터 네트워크 관리와 같은 실제 시뮬레이션 환경에서 제안된 알고리즘을 검증한다.

제안 방법

• 비에피소딕 환경에서 near-optimal 리그레트 한계를 달성하기 위해 FMDP 플래너 오라클을 사용하는 DORL 및 PSRL 알고리즘을 제안한다.
• 기존의 직경을 대체하여 FMDPs에 대해 더 날카운 연결성 측정 기준으로 '사실화 스펜'을 도입한다.
• REGAL.C 알고리즘을 변형하여 FSRL을 도입하며, 이는 리그레트 스케일링을 직경이 아닌 사실화 스펜에 기반으로 한다.
• 사실화 스펜에 의존하는 리그레트 하한을 증명하며, 이는 FMDP 맥락에서의 최적성임을 입증한다.
• 동적 베이지안 네트워크를 사용하여 FMDP 전이 함수를 압축적으로 표현하고 오라클 액세스를 통한 효율적 플래닝을 가능하게 한다.
• 요소 간의 보정 벡터 스펜과 보상 분해를 활용하여 가치 함수 차이에 대한 더 날카운 한계를 유도한다.

실험 결과

연구 질문

• RQ1 비에피소딕 FMDPs에 대해 다항 수준의 오라클 호출로 near-optimal 리그레트를 달성하는 오라클 효율적인 알고리즘을 설계할 수 있는가?
• RQ2 사실화 스펜 측정 기준이 FMDPs에서 기존의 직경보다 더 날카운 리그레트 한계를 제공하는가?
• RQ3 직경을 사실화 스펜으로 대체함으로써 FMDPs에서 상한과 하한 리그레트 한계 사이의 격차를 줄일 수 있는가?
• RQ4 제안된 알고리즘은 컴퓨터 네트워크 관리와 같은 실질적이고 대규모 환경에서 어떻게 성능을 발휘하는가?

주요 결과

• DORL 및 PSRL 알고리즘은 각각의 빈도주의 및 베이지안 리그레트 한계를 $\widetilde{O}(DS\sqrt{AT})$ 수준으로 달성하며, 이는 특수화되었을 때 표준 MDP에 대해 알려진 최고의 한계와 일치한다.
• 사실화 스펜 측정 기준이 직경보다 더 날카운 연결성 지표임이 입증되었으며, 이는 리그레트 하한이 사실화 스펜에 의존함을 의미한다.
• FSRL 알고리즘은 사실화 스펜에 의존함으로써 리그레트 격차를 줄이며, 직경과 요소 수 $m$에 대한 의존도를 모두 향상시킨다.
• 제안된 알고리즘은 컴퓨터 네트워크 관리 시뮬레이션에서 이전의 near-optimal 알고리즘보다 뛰어난 성능을 보이며 실용적 효율성을 입증한다.
• 이론적 분석을 통해 리그레트 하한이 사실화 스펜에 비례함을 증명하였으며, 상한도 이 비율을 따라, 새로운 측정 기준의 날카운 성질을 확인한다.
• 구조화된 FMDPs에서 사실화 스펜의 사용은 직경 기반 한계 대비 상한을 $1/m$ 배만큼 향상시킨다.