[논문 리뷰] Tightening Exploration in Upper Confidence Reinforcement Learning

Hippolyte Bourel, Odalric-Ambrym Maillard외 1명|arXiv (Cornell University)|2020. 04. 20.

Advanced Bandit Algorithms Research참고 문헌 33인용 수 8

한 줄 요약

이 논문은 전이 분포의 적응형 지원 추정과 분산 인식 농도 경계를 사용하여 탐색을 강화함으로써 UCRL2를 개선한 UCRL3를 제안한다. 신뢰집합을 정교화하고 불필요한 탐색을 줄임으로써 UCRL3는 학습 수렴 속도를 크게 향상시키고 지역 직경과 유효 지원을 포함한 회귀 경계를 더욱 날카롭게 하여 UCRL2를 능가하는 수치 실험 결과를 보였다. 이는 이론적 최적성을 유지하면서도 성능을 향상시킨다.

ABSTRACT

The upper confidence reinforcement learning (UCRL2) algorithm introduced in (Jaksch et al., 2010) is a popular method to perform regret minimization in unknown discrete Markov Decision Processes under the average-reward criterion. Despite its nice and generic theoretical regret guarantees, this algorithm and its variants have remained until now mostly theoretical as numerical experiments in simple environments exhibit long burn-in phases before the learning takes place. In pursuit of practical efficiency, we present UCRL3, following the lines of UCRL2, but with two key modifications: First, it uses state-of-the-art time-uniform concentration inequalities to compute confidence sets on the reward and (component-wise) transition distributions for each state-action pair. Furthermore, to tighten exploration, it uses an adaptive computation of the support of each transition distribution, which in turn enables us to revisit the extended value iteration procedure of UCRL2 to optimize over distributions with reduced support by disregarding low probability transitions, while still ensuring near-optimism. We demonstrate, through numerical experiments in standard environments, that reducing exploration this way yields a substantial numerical improvement compared to UCRL2 and its variants. On the theoretical side, these key modifications enable us to derive a regret bound for UCRL3 improving on UCRL2, that for the first time makes appear notions of local diameter and local effective support, thanks to variance-aware concentration bounds.

연구 동기 및 목표

• 강력한 이론적 회귀 보장에도 불구하고 중간 크기의 MDP에서 UCRL2의 긴 초기 단계와 열악한 실증 성능 문제를 해결하기 위해.
• 더 나은 신뢰집합 구축을 통해 상위 신뢰 강화 학습의 실용적 효율성을 향상시키기 위해.
• 전역 매개변수 대신 지역 MDP의 구조(예: 지역 직경과 유효 지원)를 반영한 회귀 경계를 유도하기 위해.
• 적응형 지원 추정을 통한 탐색 감소가 이론적 성능을 희생시키지 않으면서도 학습 속도를 향상시키는지 확인하기 위해.
• UCRL3를 UCRL2 및 PSRL과 실증적으로 비교하여 희박 보상 및 대규모 상태 환경에서의 우수성을 입증하기 위해.

제안 방법

• 표준 농도 부등식 대신 시간에 관계없이 적용 가능한 분산 인식 농도 경계를 사용하여 보상과 전이 확률에 대한 더 좁은 신뢰집합을 계산한다.
• 관측된 데이터를 바탕으로 낮은 확률 전이를 기각함으로써 전이 분포의 유효 지원을 적응적으로 추정한다.
• 확장된 가치 반복(EVI) 절차를 수정하여 축소된 지원 집합 위에서 최적화를 수행함으로써 낙관주의를 유지하면서도 계산 효율성을 향상시킨다.
• 지원에 대한 게으른 업데이트 전략을 사용하여 매 L단계마다만 업데이트(실험에서는 L=5)함으로써 계산 오버헤드를 줄인다.
• 비모수적 비교를 위해 PSRL과의 비교를 위해 전이 및 보상 분포에 딜레트 및 베타 사전을 사용한다.
• 재현성과 벤치마킹을 위해 OpenAI Gym 환경과 호환되는 실용적이고 오픈소스의 파이썬 코드베이스를 구현한다.

실험 결과

연구 질문

• RQ1 분산 인식 농도 부등식에 기반한 더 좁은 농도 경계는 UCRL2 스타일 알고리즘에서 탐색을 줄이고 학습 속도를 향상시킬 수 있는가?
• RQ2 전이 분포의 적응형 지원 추정은 MDP에서 수렴 속도와 실증 성능을 향상시키는가?
• RQ3 지역 구조적 특성(예: 지역 직경과 유효 지원)을 포함함으로써 UCRL3의 회귀 경계를 개선할 수 있는가?
• RQ4 희박 보상 및 풍부한 보상 환경을 포함한 다양한 MDP 구조에서 UCRL3는 PSRL에 비해 회귀와 학습 속도에서 유의미한 우위를 보이는가?
• RQ5 특정 MDP(예: 보상이 풍부한 경우)에서 PSRL의 실증적 실패는 빈도주의 회귀 보장 부족과 열악한 신뢰집합 구성 탓인가?

주요 결과

• UCRL3는 지역 직경과 지역 유효 지원에 명시적으로 의존하는 회귀 경계를 달성하여 UCRL2의 전역 D 기반 경계를 초월한다.
• 수치 실험 결과 UCRL3는 6-상태 강물 수영, 2-방, 4-방, 100-상태 MDP에서 초기 단계를 크게 단축하고 UCRL2를 능가한다.
• 100-상태 희박 보상 MDP에서 UCRL3는 초기 단계 이후 PSRL를 능가하여 더 나은 장기 학습 안정성을 보였다.
• 10-상태 보상이 풍부한 MDP에서 PSRL는 열악한 성능을 보였으며, 이는 밀도 높은 보상 구조에서의 탐색 전략에 한계가 있음을 시사한다.
• UCRL3의 적응형 지원 추정은 불필요한 탐색을 줄여 이론적 보장을 훼손하지 않으면서도 수렴 속도를 높인다.
• 분산 인식 농도 경계의 사용은 특히 단일 상태의 반복 관측과 같은 극단 케이스에서 더 좁은 신뢰집합을 생성한다.