[논문 리뷰] Fast active learning for pure exploration in reinforcement learning

Pierre Ménard, Omar Darwiche Domingues외 4명|Repositori digital de la UPF (Universitat Pompeu Fabra)|2020. 07. 27.

Reinforcement Learning in Robotics참고 문헌 28인용 수 29

한 줄 요약

이 논문은 희박한 보상이 존재하는 에피소딕 마르코프 결정 과정(MDP)에서 최고 정책 식별을 위한 새로운 알고리즘인 BPI-UCBVI를 제안한다. 1/n 탐색 보너스와 정밀한 停止 시간 분석을 활용하여, Õ(SAH³ log(1/δ)/ε²)의 최적 샘플 복잡도를 달성하며, 이는 이전 방법들에 비해 장애물 H와 상태 공간 S에 대한 비최적 의존성을 제거함으로써 향상된 것이다.

ABSTRACT

Realistic environments often provide agents with very limited feedback. When the environment is initially unknown, the feedback, in the beginning, can be completely absent, and the agents may first choose to devote all their effort on exploring efficiently. The exploration remains a challenge while it has been addressed with many hand-tuned heuristics with different levels of generality on one side, and a few theoretically-backed exploration strategies on the other. Many of them are incarnated by intrinsic motivation and in particular explorations bonuses. A common rule of thumb for exploration bonuses is to use $1/\sqrt{n}$ bonus that is added to the empirical estimates of the reward, where $n$ is a number of times this particular state (or a state-action pair) was visited. We show that, surprisingly, for a pure-exploration objective of reward-free exploration, bonuses that scale with $1/n$ bring faster learning rates, improving the known upper bounds with respect to the dependence on the horizon $H$. Furthermore, we show that with an improved analysis of the stopping time, we can improve by a factor $H$ the sample complexity in the best-policy identification setting, which is another pure-exploration objective, where the environment provides rewards but the agent is not penalized for its behavior during the exploration phase.

연구 동기 및 목표

• 희박하거나 존재하지 않는 보상 피드백이 있는 강화학습에서 효율적인 순수 탐색( pure-exploration) 문제를 해결하기 위해.
• 장애물 H와 상태 공간 S에 대한 비최적 의존성을 제거함으로써 최고 정책 식별(BPI)의 샘플 복잡도를 향상시키기 위해.
• 보상 없는 환경과 최고 정책 식별 설정에서 표준 1/√n 규칙보다 1/n 탐색 보너스가 더 우수한 성능을 보임을 보여주기 위해.
• 이론적으로 타당한, 데이터에 의존하는 정책 선택 메커니즘을 제공하여 δ, S, A, ε에 대해 최적의 의존성을 달성하기 위해.

제안 방법

• 데이터에 의존하는 정책 선택 규칙을 갖춘 에피소딕 UCBVI 기반 알고리즘인 BPI-UCBVI를 제안한다.
• 표준 1/√n 대신 1/n 탐색 보너스를 도입하여 순수 탐색 설정에서 향상된 학습 속도를 입증한다.
• UCBVI 유형 알고리즘의 단순 손실에 대한 새로운 상한을 도입하여 정지 시간의 엄밀한 분석을 가능하게 한다.
• empirical MDP에서 추정 오차를 제어하기 위해 KL 발산과 분산 상한의 정교한 분석을 사용한다.
• 정책 가치 차이에 대한 농도 부등식을 유도하기 위해 KL 발산의 변분 공식을 적용한다.
• τ의 성장률을 로그항과 다항식 항의 형태로 유 bounds하는 데에 유용한 새로운 보조 부등식(보조정리 13)을 유도한다. 이는 더 엄밀한 샘플 복잡도 상한 유도에 필수적이다.

실험 결과

연구 질문

• RQ1 순수 탐색 강화학습 설정에서 1/n 탐색 보너스가 1/√n를 능가할 수 있는가?
• RQ2 정지 시간에 대한 더 엄밀한 분석이 최고 정책 식별에서 샘플 복잡도 향상에 기여하는가?
• RQ3 전방 모델 접근이 가능한 상황에서 BPI에서 H의 의존도를 H⁴에서 H³으로 줄일 수 있는가?
• RQ4 오라클 접근 없이 전방 모델 접근만으로도 δ, S, A, ε에 대해 최적의 의존성을 달성할 수 있는가?
• RQ5 데이터에 의존하는 정책 선택 규칙이 BPI에서 균일한 랜덤 선택보다 우수한 성능을 낼 수 있는가?

주요 결과

• BPI-UCBVI는 Õ(SAH³ log(1/δ)/ε²)의 샘플 복잡도를 달성하며, 이는 Dann과 Brunskill(2015)의 하한에 따르면 S, A, ε, δ에 대해 최적이다.
• 이전 방법들에 비해 장애물 H에 대한 의존도를 H⁴에서 H³으로 개선함으로써 샘플 복잡도에서 H 배수의 향상을 달성한다.
• 1/√n 대신 1/n 보너스를 사용할 경우, 보상 없는 탐색과 최고 정책 식별 양 측면에서 더 빠른 학습 속도와 더 엄밀한 손실 상한을 달성한다.
• 제안된 UCBVI 유형 알고리즘의 단순 손실 상한은 RF-UCRL에서 존재하는 S 요소를 제거하여 상태 공간 크기의 최적 의존성을 달성한다.
• 정교한 KL 발산 부등식을 사용함으로써 정지 시간을 더 엄밀하게 유 bounds할 수 있으며, 이는 δ에 대한 더 우수한 의존성으로 이어진다.
• 보조정리 13은 τ를 로그항과 다항식 항의 형태로 더 엄밀하게 제어할 수 있게 하며, 이는 최종 샘플 복잡도 상한 유도에 핵심적이다.