[논문 리뷰] PAC Reinforcement Learning with Rich Observations

Akshay Krishnamurthy, Alekh Agarwal외 1명|arXiv (Cornell University)|2016. 02. 08.

Advanced Bandit Algorithms Research참고 문헌 23인용 수 14

한 줄 요약

이 논문은 풍부한 관측이 가능한 환경을 위한 새로운 강화학습 프레임워크를 제안하며, 순차적 결정 문제를 소수의 은닉 상태와 예측 가능한 장기 보상으로 모델링한다. LSVEE(탐색에 의한 최소 제곱가치 제거) 알고리즘을 제안하여 핵심 매개변수에 다항적 의존성과 관측 공간 크기와의 의존성 없이 PAC 표본 효율성을 달성하며, 강화학습에서의 함수 근사에 대한 이론적 근거를 제공한다.

ABSTRACT

We propose and study a new model for reinforcement learning with rich observations, generalizing contextual bandits to sequential decision making. These models require an agent to take actions based on observations (features) with the goal of achieving long-term performance competitive with a large set of policies. To avoid barriers to sample-efficient learning associated with large observation spaces and general POMDPs, we focus on problems that can be summarized by a small number of hidden states and have long-term rewards that are predictable by a reactive function class. In this setting, we design and analyze a new reinforcement learning algorithm, Least Squares Value Elimination by Exploration. We prove that the algorithm learns near optimal behavior after a number of episodes that is polynomial in all relevant parameters, logarithmic in the number of policies, and independent of the size of the observation space. Our result provides theoretical justification for reinforcement learning with function approximation.

연구 동기 및 목표

• 고차원 관측 공간을 가진 강화학습에서 표본 비효율적 탐색의 문제를 해결한다.
• 일반적인 POMDP의 비가역적 표본 복잡도를 피하는 풍부한 관측이 가능한 강화학습을 위한 이론적 프레임워크를 개발한다.
• 관측 공간 크기와 무관한 다항적 표본 복잡도를 갖는 PAC 학습 보장을 달성하는 알고리즘을 설계한다.
• 소수의 은닉 상태와 예측 가능한 보상 함수를 활용하여 강화학습에서의 함수 근사에 대한 이론적 근거를 제공한다.
• 새로운 상태 동치 테스트와 가치 제거 메커니즘을 통해 순차적 결정 문제 과제에서 효율적인 전역 탐색을 가능하게 한다.

제안 방법

• 유한한 은닉 상태 집합에서 계층적이고 결정적인 전이를 가지며, 각 은닉 상태가 관측-보상 분포와 연결된 문맥적 결정 과정 모델을 제안한다.
• 미래 보상의 함수 근사를 가능하게 하는 최적의 Q-값 함수를 포함하는 함수 클래스를 도입한다.
• 문맥적 밴드잇 스타일 학습과 상태 동치 테스트 기반 전역 탐색 전략을 결합한 LSVEE 알고리즘을 설계한다.
• 가치 함수 평가에 몬테카를로 추정을 사용하고, DFS-Learn를 통해 상태-행동 접두어를 탐색하여 근사 최적 정책 수렴을 보장한다.
• TD-Elim과 Consensus를 통해 하향식으로 하위 최적 상태-행동 쌍을 효율적으로 식별하고 제거한다.
• 헤프딩 부등식과 농도 경계를 활용하여 반복 과정 전반에서 실패 확률를 제어하고, 알고리즘 구성 요소 간에 실패 확률를 철저히 할당한다.

실험 결과

연구 질문

• RQ1 풍부한 관측과 큰 관측 공간을 가진 환경에서 PAC 표본 효율성을 달성하는 강화학습 알고리즘을 설계할 수 있는가?
• RQ2 행동 수, 시간 폭, 정책 집합 크기의 다항적 표본 복잡도를 확보하면서도 관측 공간 크기와 독립적인가?
• RQ3 소수의 은닉 상태와 예측 가능한 장기 보상으로 환경를 제한함으로써 강화학습에서의 함수 근사에 대한 이론적 근거를 제공할 수 있는가?
• RQ4 시간 폭에 대한 지수적 의존성을 피하면서도 이론적 보장을 유지하는 전역 탐색 전략을 어떻게 설계할 수 있는가?
• RQ5 풍부한 관측이 있는 순차적 결정 문제에 대해 표본 효율적인 강화학습 알고리즘을 구성할 수 있는 최소한의 가정은 무엇인가?

주요 결과

• LSVEE 알고리즘은 관측 공간 크기와 무관하게 $\tilde{\mathcal{O}}\left(\frac{MH^{6}K^{2}}{\epsilon^{3}}\log(N/\delta)\log(1/\delta)\right)$의 표본 복잡도로 PAC 보장을 달성한다.
• 알고리즘은 $K$, $M$, $H$, 및 $\log(|\Pi|)$에 대한 다항적 의존성만을 가지며, 높은 확률로 학습된 정책이 최대 $\epsilon$-하위최적임을 보장한다.
• 몬테카를로 추정, DFS-Learn, 상태 방문 사건에 대한 신뢰 구간 할당을 철저히 하여 실패 확률가 $\delta$ 이하로 제한된다.
• 상태 동치 테스트와 Consensus 메커니즘의 사용으로 하위최적 상태-행동 쌍의 효율적 제거가 가능하여 TD-Elim 호출 횟수를 $\mathcal{O}(MH)$로 줄였다.
• 분석 결과, 반복 간 TD-Elim 결과 재사용으로 인해 알고리즘의 표본 복잡도가 크게 향상되며, 중복 학습을 피할 수 있었다.
• 이론적 프레임워크는 알고리즘이 최적의 $Q^*$ 함수를 포함하는 함수 클래스에 의존하므로, 강화학습에서의 함수 근사에 대한 근거를 제공한다.