[논문 리뷰] Task-agnostic Exploration in Reinforcement Learning

Xuezhou Zhang, Yuzhe Ma외 1명|arXiv (Cornell University)|2020. 06. 16.

Reinforcement Learning in Robotics참고 문헌 25인용 수 13

한 줄 요약

이 논문은 보상 함수 없이 MDP에서 에이전트가 탐색하는 작업에 종속되지 않는 강화학습 프레임워크를 소개한다. 이후 수집된 트래잭터리와 샘플된 보상 값을 활용해 N개의 임의의 작업에 대해 효율적으로 근사 최적 정책을 계산한다. 제안된 UCBZero 알고리즘은 샘플 복잡도 $\tilde{O}(\log(N)H^5SA/\varepsilon^2)$를 달성하며, 이 설정에서 $\log(N)$ 의존성의 必要성을 증명하는 매칭하는 하한선을 제시한다.

ABSTRACT

Efficient exploration is one of the main challenges in reinforcement learning (RL). Most existing sample-efficient algorithms assume the existence of a single reward function during exploration. In many practical scenarios, however, there is not a single underlying reward function to guide the exploration, for instance, when an agent needs to learn many skills simultaneously, or multiple conflicting objectives need to be balanced. To address these challenges, we propose the extit{task-agnostic RL} framework: In the exploration phase, the agent first collects trajectories by exploring the MDP without the guidance of a reward function. After exploration, it aims at finding near-optimal policies for $N$ tasks, given the collected trajectories augmented with extit{sampled rewards} for each task. We present an efficient task-agnostic RL algorithm, extsc{UCBZero}, that finds $ε$-optimal policies for $N$ arbitrary tasks after at most $ ilde O(\log(N)H^5SA/ε^2)$ exploration episodes. We also provide an $Ω(\log (N)H^2SA/ε^2)$ lower bound, showing that the $\log$ dependency on $N$ is unavoidable. Furthermore, we provide an $N$-independent sample complexity bound of extsc{UCBZero} in the statistically easier setting when the ground truth reward functions are known.

연구 동기 및 목표

• 탐색 단계에서 특정 보상 함수가 제공되지 않는 강화학습 환경에서 효율적 탐색을 달성하는 데 도전한다.
• 단일한 보상 없는 탐색 단계 이후에 여러 임의의 작업에 대해 근사 최적 정책을 학습할 수 있는 프레임워크를 설계한다.
• 보상 가이던스 없이 학습하는 데서 발생하는 본질적 어려움을 반영하는 작업에 종속되지 않는 강화학습의 이론적 샘플 복잡도 경계를 수립한다.
• 이 설정에서 샘플 복잡도에 $\log(N)$ 의존성이 필수적임을 입증한다.
• 작업별, 보상 없는, 작업에 종속되지 않는 강화학습 패러다임 간 통합된 이론적 비교를 제공한다.

제안 방법

• 에이전트는 보상 신호 없이 MDP에서 탐색을 수행하며, 불확실성에 대한 낙관주의 원칙에 기반해 트래잭터리를 수집한다.
• UCBZero는 보상 값에 의존하지 않고 방문 횟수에만 의존하는 허프딩 유형의 보너스를 사용하여, 작업에 종속되지 않는 설정에 적용 가능하도록 한다.
• 탐색 이후, 각 작업에 대해 샘플된 보상을 트래잭터리에 보강함으로써 N개의 작업에 대해 근사 최적 정책을 계산한다.
• 알고리즘은 모든 상태-행동 쌍이 충분히 자주 방문되도록 보장하며, 수집된 전이 데이터로부터 정확한 동역학 모델 추정이 가능하게 한다.
• 이론적 분석은 아자마-후이프딩 농도 경계와 시뮬레이션 렘마 추론을 결합하여 $N$-의존성 및 $N$-비의존성 경계를 도출한다.
• 하한선 $\Omega(\log(N)H^2SA/\varepsilon^2)$ 가 확립되어, 이 설정에서 $\log(N)$ 스케일링의 必要성을 보여준다.

실험 결과

연구 질문

• RQ1 학습 단계에서 사전에 지정된 보상 함수가 제공되지 않는 강화학습 환경에서 효율적 탐색이 가능할 수 있는가?
• RQ2 단일한 보상 없는 탐색 단계만을 사용하여 $N$개의 임의의 작업에 대해 근사 최적 정책을 학습할 수 있는가?
• RQ3 작업에 종속되지 않는 강화학습의 기본 샘플 복잡도 한계는 무엇이며, 이는 작업 수 $N$과 어떻게 스케일링되는가?
• RQ4 작업에 종속되지 않는 강화학습의 통계적 어려움은 작업별 및 보상 없는 강화학습 설정과 비교해 어떻게 다를 수 있는가?
• RQ5 진정한 보상이 알려진 통계적으로 더 쉬운 설정에서, 작업에 종속되지 않는 설정에서 $N$-비의존 샘플 복잡도 경계를 달성할 수 있는가?

주요 결과

• UCBZero는 보상 없는 탐색 이후 $N$개의 작업에 대해 $\varepsilon$-최적 정책을 찾는 데 샘플 복잡도 $\tilde{O}(\log(N)H^5SA/\varepsilon^2)$ 를 달성한다.
• 알고리즘의 성능는 매칭하는 하한선 $\Omega(\log(N)H^2SA/\
• UCBZero는 모든 상태-행동 쌍이 충분히 자주 방문되도록 보장하여 수집된 트래잭터리에서 정확한 동역학 모델 추정이 가능하게 한다.
• 방문 횟수에만 의존하는 알고리즘의 허프딩 유형 보너스는 작업에 종속되지 않는 탐색을 가능하게 하는 데 핵심적이다.
• 진정한 보상이 알려진 통계적으로 더 쉬운 설정에서는 UCBZero가 $N$-비의존 샘플 복잡도 경계 $\tilde{O}(H^6S^2A^2(\log(3H/\varepsilon)+\iota)/\varepsilon^2)$ 를 달성한다.
• 이론적 분석은 통계적 어려움의 엄밀한 계층을 드러내며, 작업별 RL < 보상 없는 RL < 작업에 종속되지 않는 RL 순서로 정렬되며, 후자의 경우 탐색 시 보상 가이던스가 없기 때문에 $\log(N)$ 스케일링이 필수적이다.