[논문 리뷰] Near-optimal Reinforcement Learning in Factored MDPs: Oracle-Efficient Algorithms for the Non-episodic Setting.

Ziping Xu, Ambuj Tewari|arXiv (Cornell University)|2020. 02. 06.

Reinforcement Learning in Robotics참고 문헌 6인용 수 7

한 줄 요약

이 논문은 비에피소딕 설정에서 인자 분해된 MDPs에 대한 두 가지 near-optimal이고 오라클 효율적인 강화 학습 알고리즘을 제안하며, 표준 MDPs의 near-optimal bound와 일치하는 $\widetilde{O}(DS\sqrt{AT})$의 regret bound를 달성한다. 직전의 결과와는 달리, 직경이 아닌 편향 벡터의 스팬에 의존하는 새로운 하한을 제안하여, 인자 분해된 MDPs에서는 직경 기반의 bound가 임의로 느슨해질 수 있음을 보여준다.

ABSTRACT

We study reinforcement learning in factored Markov decision processes (FMDPs) in the non-episodic setting. We focus on regret analyses providing both upper and lower bounds. We propose two near-optimal and oracle-efficient algorithms for FMDPs. Assuming oracle access to an FMDP planner, they enjoy a Bayesian and a frequentist regret bound respectively, both of which reduce to the near-optimal bound $\widetilde{O}(DS\sqrt{AT})$ for standard non-factored MDPs. Our lower bound depends on the span of the bias vector rather than the diameter $D$ and we show via a simple Cartesian product construction that FMDPs with a bounded span can have an arbitrarily large diameter, which suggests that bounds with a dependence on diameter can be extremely loose. We, therefore, propose another algorithm that only depends on span but relies on a computationally stronger oracle. Our algorithms outperform the previous near-optimal algorithms on computer network administrator simulations.

연구 동기 및 목표

• 비에피소딕 설정에서 인자 분해된 MDPs에 대한 효율적인 강화 학습 알고리즘 설계의 과제를 해결하기 위해.
• 구조화된 환경에서 더 날카로운 측정이 되는 편향 벡터의 스팬으로 직경 D에 대한 의존성을 대체하여, 인자 분해된 MDPs에서의 regret bound를 향상시키기 위해.
• 오직 FMDP 플래너 오라클에만 액세스할 수 있도록 하여 실용적 실행 가능성을 확보하는 오라클 효율적인 알고리즘을 개발하기 위해.
• 인자 분해된 MDPs에서 직경 기반 regret bound의 한계를 보여주는 이론적 하한을 수립하기 위해.

제안 방법

• FMDP 플래너 오라클에 의존하는 두 가지 알고리즘을 제안: 하나는 베이지안 regret bound를 갖는 것이고, 다른 하나는 빈도주의 regret bound를 갖는 것이다.
• 직경 D가 아닌 편향 벡터의 스팬에 의존하는 새로운 regret 하한을 유도한다.
• 카르테시안 곱 구조를 사용하여, 스팬이 유계인 FMDPs가 임의로 큰 직경을 가질 수 있음을 보여주며, 이는 직경 기반의 bound가 잘못될 수 있음을 시사한다.
• 스팬에만 의존하는 두 번째 알고리즘을 제안하지만, 더 강력한 계산 오라클을 필요로 한다.
• 요소의 희박성에 기반하여 인자 분해된 구조에 특화된 regret 분석 기법을 활용한다.
• 표준 MDPs의 regret bound를 $\widetilde{O}(DS\sqrt{AT})$로 줄여, 기존 알려진 near-optimal bound와 일치시킨다.

실험 결과

연구 질문

• RQ1 비에피소닉 설정에서 near-optimal regret을 달성하는 인자 분해된 MDPs에 대한 오라클 효율적인 강화 학습 알고리즘을 설계할 수 있는가?
• RQ2 인자 분해된 MDPs에서 편향 벡터의 스팬은 직경 D에 비해 어떤 복잡도 측정 기준으로 더 나은가?
• RQ3 인자 분해된 MDPs에서 직경 기반 regret bound의 한계를 보여주는 하한을 구성할 수 있는가?
• RQ4 오라클의 계산 능력과 regret bound에서의 스팬 또는 직경에 대한 의존성 사이의 상호 교환 관계는 어떠한가?
• RQ5 제안된 알고리즘이 네트워크 관리와 같은 실용적 환경에서 이전 방법들을 능가하는가?

주요 결과

• 제안된 알고리즘은 표준 MDPs에서 $\widetilde{O}(DS\sqrt{AT})$의 regret bound를 달성하며, 기존 알려진 near-optimal bound와 일치한다.
• 직경 D가 아닌 편향 벡터의 스팬에 의존하는 새로운 하한이 수립되었다.
• 카르테시안 곱 구성은 스팬이 유계인 FMDPs가 임의로 큰 직경을 가질 수 있음을 보여주며, 이는 직경 기반의 bound가 매우 느슨해질 수 있음을 의미한다.
• 스팬에만 의존하는 두 번째 알고리즘을 제안하지만, 더 강력한 계산 오라클이 필요하다.
• 컴퓨터 네트워크 관리 작업 시뮬레이션에서 이전 near-optimal 알고리즘보다 성능이 뛰어나다.
• 결과는 많은 구조화된 환경에서 스팬이 직경보다 더 적절한 복잡도 측정 기준임을 시사한다.