[논문 리뷰] Near-optimal Optimistic Reinforcement Learning using Empirical Bernstein Inequalities

Aristide C. Y. Tossou, Debabrota Basu외 1명|arXiv (Cornell University)|2019. 05. 27.

Reinforcement Learning in Robotics참고 문헌 22인용 수 12

한 줄 요약

이 논문은 유한한 연결 가능한 MDP에 대해 모델 기반 강화 학습 알고리즘 UCRL-V를 제안한다. 이 알고리즘은 경험적 버리에인스 부등식을 사용하여 분산 인식(confidence intervals)을 구성한다. 이러한 더 낫게 조정된 구간을 활용함으로써 UCRL-V는 $ ilde{/mathcal{O}}(ackslash sqrt{DSAT})$ 수준의 거의 최적의 누적손실(regret)을 달성하며, MDP에 대한 추가 가정 없이 알려진 하한값과의 격차를 해소한다.

ABSTRACT

We study model-based reinforcement learning in an unknown finite communicating Markov decision process. We propose a simple algorithm that leverages a variance based confidence interval. We show that the proposed algorithm, UCRL-V, achieves the optimal regret $ ilde{\mathcal{O}}(\sqrt{DSAT})$ up to logarithmic factors, and so our work closes a gap with the lower bound without additional assumptions on the MDP. We perform experiments in a variety of environments that validates the theoretical bounds as well as prove UCRL-V to be better than the state-of-the-art algorithms.

연구 동기 및 목표

• 기존의 낙관적 RL 알고리즘과 알려진 $\Omega(\sqrt{DSAT})$ 하한값 사이의 누적손실 격차를 해결하기 위해.
• MDP의 구조에 대한 추가 가정 없이 최적의 누적손실을 달성하는 모델 기반 RL 알고리즘을 설계하기 위해.
• 경험적 버리에인스 부등식을 통해 분산 정보를 통합하여 탐색의 신뢰 구간 추정을 향상시키기 위해.
• 다양한 환경에서의 실증적 평가를 통해 이론적 개선 사항을 검증하기 위해.

제안 방법

• 알고리즘은 경험적 버리에인스 부등식을 사용하여 보상과 전이 확률에 대한 신뢰 구간을 구성하며, 이는 분산을 고려하여 표준 호프딩 유형의 경계보다 더 낫게 조정된 경계를 제공한다.
• 진짜 MDP가 높은 확률로 포함된 가능한 MDP 집합 위에서, 분산 인식 신뢰 구간에 기반하여 낙관적인 값 반복 절차를 수행한다.
• 각 상태-행동 쌍이 충분히 방문되도록 보장하기 위해, 에피소드 스케줄링에 듀플리케이션 트릭(doubling trick)을 사용한다.
• 알고리즘은 보상과 전이 확률의 추정치를 동적으로 갱신하고, 각 에피소드 후에 낙관적인 정책을 재계산한다.
• 이론적 분석은 하위모듈라 함수 성질과 농도 불등식을 활용하여 추정 오차와 정책 누적손실을 경계한다.
• 누적손실 분석은 경험적 버리에인스 부등식을 사용하여 추정된 값이 진짜 값에서 벗어나지 않도록 제어하며, 더 낫게 조정된 고확률 경계를 이끈다.

실험 결과

연구 질문

• RQ1 경험적 버리에인스 부등식에서 유도된 분산 인식 신뢰 구간이 모델 기반 RL에서 더 낫게 조정된 누적손실 경계를 이끌 수 있는가?
• RQ2 제안된 알고리즘이 MDP에 대한 추가 가정 없이 $\Omega(\sqrt{DSAT})$ 이론적 하한값에 가까운 누적손실을 달성하는가?
• RQ3 UCRL2와 UCBVI와 같은 최첨단 알고리즘과 비교해 볼 때, 이 알고리즘의 성능은 누적손실과 샘플 효율성 측면에서 어떻게 되는가?
• RQ4 분산 기반 신뢰 구간의 사용이 유한한 연결 가능한 MDP에서 탐색 효율성을 향상시킬 수 있는가?

주요 결과

• UCRL-V는 $\tilde{\mathcal{O}}(\sqrt{DSAT})$ 수준의 누적손실 경계를 달성하며, 알려진 하한값과 로그 인자 수준에서 일치한다.
• 이전의 낙관적 RL 알고리즘에서 존재하던 누적손실 격차를 해결하였으며, 이는 하위최적의 경계를 가졌거나 MDP에 대한 추가 가정을 필요로 했기 때문이다.
• 실증 평가 결과, UCRL-V는 여러 환경에서 UCRL2와 UCBVI와 같은 최첨단 알고리즘보다 누적손실과 샘플 효율성 측면에서 뛰어난 성능을 보였다.
• 경험적 버리에인스 부등식의 사용은 더 낫게 조정된 신뢰 구간을 이끌어내어 더 효율적인 탐색과 더 빠른 수렴을 가능하게 했다.
• 이론적 분석은 분산 인식 신뢰 구간에 기반한 가능한 MDP 집합 위에서 계산된 낙관적 정책이 항상 제한된 누적손실을 가짐을 확인했다.