[논문 리뷰] Regret Bounds for Reinforcement Learning with Policy Advice

Mohammad Gheshlaghi Azar, Alessandro Lazaric외 1명|2013. 05. 05.

Advanced Bandit Algorithms Research참고 문헌 14인용 수 14

한 줄 요약

이 논문은 상태 및 행동 공간 크기와 무관하게, 최고의 정책에 대해 비선형적 잔여비용을 달성하는 모델 자유형 강화학습 알고리즘인 RLPA를 제안한다. 이 알고리즘은 결정성 정책 집합을 입력으로 받아 평균 보상의 신뢰구간을 활용한 불확실성에 대한 낙관주의 원리를 적용한다. 결과적으로, 상태 및 행동 공간 크기와 무관하게 $\widetilde{O}(\sqrt{T})$의 잔여비용 한계를 달성한다.

ABSTRACT

In some reinforcement learning problems an agent may be provided with a set of input policies, perhaps learned from prior experience or provided by advisors. We present a reinforcement learning with policy advice (RLPA) algorithm which leverages this input set and learns to use the best policy in the set for the reinforcement learning task at hand. We prove that RLPA has a sub-linear regret of ilde O(\sqrt{T}) relative to the best input policy, and that both this regret and its computational complexity are independent of the size of the state and action space. Our empirical simulations support our theoretical analysis. This suggests RLPA may offer significant advantages in large domains where some prior good policies are provided.

연구 동기 및 목표

• 완전한 MDP 모델 대신 후보 정책 집합의 형태로 사전 지식이 제공될 때 강화학습의 과제를 다루는 것.
• 입력된 정책 집합 중 최고의 정책에 대해 잔여비용을 최소화하는 방식으로 이러한 정책들을 적응적으로 선택하는 알고리즘을 설계하는 것.
• 상태 또는 행동 공간 크기의 증가에 따라 증가하지 않는 이론적 보장과 계산 효율성을 확보하는 것.
• 이전 연구를 넘어서 일반성과 비ergodicity 가정에 대한 독립성을 확보한 엄밀한 이론적 분석을 제공하는 것.
• 상태 및 행동 공간 크기가 크기 때문에 전체 MDP 학습이 비현실적인 대규모 환경에서의 실용적 구현을 가능하게 하는 것.

제안 방법

• 입력된 $m$개의 결정성 정책 집합 $\Pi = \{\pi_1, \dots, \pi_m\}$을 기반으로 문제를 강화학습 문제로 재정의한다.
• 각 정책의 추정 평균 보상에 대한 상한 신뢰구간을 기반으로 불확실성에 대한 낙관주의 원칙을 적용하여 정책을 선택한다.
• 관측된 수익을 사용하여 각 정책 $\pi$에 대해 평균 보상의 경험적 추정치 $\widehat{\mu}(\pi)$를 유지한다.
• 집중 불등식을 활용하여 $\widehat{\mu}(\pi)$ 주위에 신뢰구간을 구성함으로써 탐색과 이용의 균형을 이룬다.
• 각 시간 단계에서 가장 높은 상한 신뢰구간을 가진 정책을 선택하여 행동 선택을 이끈다.
• 알고리즘의 잔여비용과 계산 비용이 상태 수나 행동 수에 따라 변하지 않도록 보장하며, 입력 정책 수와 시간 수평에만 의존한다.

실험 결과

연구 질문

• RQ1 모델 자유형 강화학습 알고리즘이 주어진 입력 정책 집합 중 최고의 정책에 대해 비선형 잔여비용을 달성할 수 있는가?
• RQ2 상태 및 행동 공간 크기와 무관하게 잔여비용과 계산 복잡도가 유지되는 그러한 알고리즘을 설계할 수 있는가?
• RQ3 알고리즘의 성능은 입력 정책 수와 시간 수평에 따라 어떻게 변화하는가?
• RQ4 ergodicity나 완전한 모델 지식이 없이도 강력한 이론적 보장을 유지할 수 있는가?
• RQ5 사전 정책이 존재하는 대규모 환경에서 표준 강화학습 기반 알고리즘보다 성능이 뛰어나게 되는가?

주요 결과

• RLPA 알고리즘은 입력 집합 내 최고의 정책에 대해 $\widetilde{O}(\sqrt{T})$의 잔여비용 한계를 달성한다. 여기서 $T$는 시간 수평이다.
• 이 잔여비용 한계는 상태 및 행동 공간 크기와 무관하므로, 대규모 또는 연속 영역에 적합하다.
• RLPA의 계산 복잡도 역시 상태 수나 행동 수에 따라 변하지 않으며, 입력 정책 수에만 의존한다.
• 이론적 분석은 MDP가 ergodic하거나 unichain일 필요 없이 일반 조건에서도 성립한다.
• 실험적 시뮬레이션은 이론적 결과를 지지하며, 양호한 사전 정책이 존재하는 환경에서 향상된 성능을 보여준다.
• 특히 초기 학습 단계에서 입력 집합에 최고의 정책가 포함된 환경에서 표준 RL 방법(예: UCRL)보다 성능이 뛰어나다.