[논문 리뷰] Reward-Free Exploration for Reinforcement Learning

Chi Jin, Akshay Krishnamurthy외 2명|arXiv (Cornell University)|2020. 02. 07.

Reinforcement Learning in Robotics참고 문헌 21인용 수 26

한 줄 요약

이 논문은 보상 신호 없이 MDP에서 탐색을 먼저 수행하는 보상-free 강화학습 프레임워크를 제안한다. 이는 향후 어떤 보상 함수에 대해서도 효율적인 계획 수단을 제공하기 위해 궤적을 수집하는 방식이다. 제안된 알고리즘은 단일 탐색 단계를 통해 모든 보상 함수에 대해 $\tilde{O}(S^2A\mathrm{poly}(H)/\epsilon^2)$ 수준의 거의 최적의 샘플 복잡도를 달성한다.

ABSTRACT

Exploration is widely regarded as one of the most challenging aspects of reinforcement learning (RL), with many naive approaches succumbing to exponential sample complexity. To isolate the challenges of exploration, we propose a new "reward-free RL" framework. In the exploration phase, the agent first collects trajectories from an MDP $\mathcal{M}$ without a pre-specified reward function. After exploration, it is tasked with computing near-optimal policies under for $\mathcal{M}$ for a collection of given reward functions. This framework is particularly suitable when there are many reward functions of interest, or when the reward function is shaped by an external agent to elicit desired behavior. We give an efficient algorithm that conducts $ ilde{\mathcal{O}}(S^2A\mathrm{poly}(H)/ε^2)$ episodes of exploration and returns $ε$-suboptimal policies for an arbitrary number of reward functions. We achieve this by finding exploratory policies that visit each "significant" state with probability proportional to its maximum visitation probability under any possible policy. Moreover, our planning procedure can be instantiated by any black-box approximate planner, such as value iteration or natural policy gradient. We also give a nearly-matching $Ω(S^2AH^2/ε^2)$ lower bound, demonstrating the near-optimality of our algorithm in this setting.

연구 동기 및 목표

• 다양한 보상 함수를 최적화해야 할 때 강화학습의 샘플 비효율성 문제를 해결한다.
• 탐색을 보상 사양에서 분리하여, 임의의 보상 함수에 대해 사후 계획 수단을 가능하게 한다.
• 단일 탐색 단계에서 수집된 데이터셋만으로도 어떤 보상 함수에 대해서도 계획을 수행할 수 있는 이론적으로 효율적인 알고리즘을 개발한다.
• 보상-free 탐색의 샘플 복잡도에 대한 이론적 한계를 규명하기 위해 이론적 경계를 설정한다.
• 어떤 블랙박스 계획 알고리즘에도 호환되는 프레임워크를 제공하여 유연성과 실용성을 높인다.

제안 방법

• 보상 함수 없이 MDP $\mathcal{M}$ 에서 탐색 단계 동안 궤적을 수집하는 보상-free RL 패러다임을 제안한다.
• 모든 정책에서 가능한 최대의 방문 가능 확률 비례로 중요한 상태들이 방문되도록 보장하는 탐색 알고리즘을 설계한다.
• 값 반복 또는 자연 정책 기울기와 같은 블랙박스 강화학습 알고리즘을 서브루틴으로 사용하여 탐색 정책을 생성한다.
• 모든 후속 계획 알고리즘이 어떤 보상 함수에 대해서도 $\epsilon$-하위최적 정책을 계산할 수 있도록 탐색 기간 동안 데이터셋을 구성한다.
• 새로운 내적 분석 기법을 활용하여 탐색 정책이 모든 관련 상태-행동 쌍을 충분히 균일하게 커버함으로써 일반화를 가능하게 함을 증명한다.
• 기존 알고리즘과의 호환성을 확보하기 위해 표준 배치-RL 솔버를 사용하여 계획 단계를 구현한다.

실험 결과

연구 질문

• RQ1 추가 데이터 수집 없이도 향후 수많은 보상 함수에 대해 효율적인 계획을 가능하게 하는 단일 탐색 단계를 설계할 수 있는가?
• RQ2 표본 공간이 제한된 표본 MDP에서 보상-free 강화학습을 위한 충분한 커버리지 달성에 필요한 기본 샘플 복잡도는 무엇인가?
• RQ3 사전에 지정된 보상이 있는 표준 강화학습과 비교해 볼 때 보상-free 탐색의 샘플 복잡도는 어떻게 되는가?
• RQ4 탐색과 계획을 분리하면서도 샘플 복잡도에서 거의 최적의 성능를 달성할 수 있는가?
• RQ5 보상-free 탐색 환경에서 커버리지 품질의 이론적 한계는 무엇인가?

주요 결과

• 제안된 알고리즘은 탐색에 대해 $\tilde{O}(S^2A\mathrm{poly}(H)/\epsilon^2)$ 의 샘플 복잡도를 달성하며, 이는 거의 최적이다.
• 추후 환경과의 상호작용 없이도 사전에 수집된 데이터셋만으로도 어떤 보상 함수에 대해서든 $\epsilon$-하위최적 정책을 계산할 수 있음을 보장한다.
• 근사적으로 매칭되는 하한선 $\Omega(S^2AH^2/\epsilon^2)$ 이 확립되어, 보상-free 환경에서 샘플 복잡도가 거의 최적임을 입증한다.
• 알고리즘의 탐색 단계는 개념적으로 단순하며, 값 반복이나 자연 정책 기울기와 같은 임의의 블랙박스 플래너와 호환된다.
• 프레임워크는 커버리지의 기본적인 비용을 드러내며, 보상-free 샘플 복잡도는 사전에 보상이 지정된 표준 강화학습보다 $S$ 배 더 크며, 이는 보편적 커버리지의 필요성 때문임을 보여준다.
• 분석을 통해 탐색 정책이 최소 방문 가능 확률을 최대화하는 방식으로 설계되어, 접근하기 어려운 상태가 있는 환경에서도 중요한 상태들을 충분히 방문함을 증명한다.