[논문 리뷰] Model-based Reinforcement Learning and the Eluder Dimension

Ian Osband, Benjamin Van Roy|arXiv (Cornell University)|2014. 06. 07.

Advanced Bandit Algorithms Research참고 문헌 14인용 수 43

한 줄 요약

이 논문은 상태 및 행동의 기수와는 무관하게 함수 클래스의 엘류어 차원과 코로고프 차원에 비례하는 오차 한계를 갖는 모델 기반 강화학습 프레임워크를 제안한다. 이는 일반적인 함수 근사 설정에서 모델 기반 RL에 대한 처음으로 통합된 오차 한계를 제공하며, 선형, 리프시츠, 헬더 연속성 MDP에서 최신 기준을 확립한다.

ABSTRACT

We consider the problem of learning to optimize an unknown Markov decision process (MDP). We show that, if the MDP can be parameterized within some known function class, we can obtain regret bounds that scale with the dimensionality, rather than cardinality, of the system. We characterize this dependence explicitly as $ ilde{O}(\sqrt{d_K d_E T})$ where $T$ is time elapsed, $d_K$ is the Kolmogorov dimension and $d_E$ is the \emph{eluder dimension}. These represent the first unified regret bounds for model-based reinforcement learning and provide state of the art guarantees in several important settings. Moreover, we present a simple and computationally efficient algorithm \emph{posterior sampling for reinforcement learning} (PSRL) that satisfies these bounds.

연구 동기 및 목표

• 상태 및 행동 공간의 크기 대신 함수 클래스의 내재 차원에 따라 오차 한계를 도출하는 것.
• 밴딧에서의 엘류어 차원 개념을 강화학습으로 확장하여 함수 근사가 있는 MDP에서 학습의 복잡성을 기술하는 것.
• 보상 및 전이 함수가 알려지지 않은 일반 MDP에서 후행 샘플링을 통한 강화학습(PSRL)이 이러한 향상된 오차 한계를 달성할 수 있음을 입증하는 것.
• 선형, 리프시츠, 헬더 연속성 MDP에서 이전 결과를 포함하고 개선하는 통합된 이론적 분석을 제공하는 것.
• 고차원 또는 연속 공간에서 최적의 오차 스케일링을 달성하면서도 계산적으로 효율적인 알고리즘이 유지되는지 확인하는 것.

제안 방법

• 함수 근사가 있는 모델 기반 RL에 대해 일반적인 오차 한계 $\tilde{O}(\sqrt{d_K d_E T})$ 를 제안하며, 여기서 $d_K$ 는 코로고프 차원, $d_E$ 는 엘류어 차원이다.
• 함수 클래스에서 보상 및 전이 함수 학습의 복잡성을 캡처하기 위해 엘류어 차원을 MDP에 대해 새로운 방식으로 확장한다.
• 확률적으로 높은 신뢰도를 갖는 후행 샘플링을 통해 구축된 신뢰집합 $\mathcal{R}_k$ 와 $\mathcal{P}_k$ 를 사용한다.
• 후행 샘플링 보조정리를 적용하여 기대 오차를 미래 가치 함수의 리프시츠 상수에 가중된 추정 오차의 합으로 bound한다.
• 합집합 부등식과 농도 불등식을 사용하여 신뢰집합 실패 확률를 제어하며, 오차와 신뢰도를 균형 잡기 위해 $\delta = 1/(8T)$ 로 설정한다.
• 커버링 수 $n_{\mathcal{F}}$, 함수 클래스 복잡성 $C_{\mathcal{F}}$, 엘류어 차원 $d_E(\mathcal{F})$ 를 조합하여 최종 오차 한계를 유도한다.

실험 결과

연구 질문

• RQ1 모델 기반 RL의 오차 한계는 상태 및 행동의 기수 대신 함수 클래스의 내재 차원에 따라 표현될 수 있는가?
• RQ2 밴딧에서의 엘류어 차원 개념을 전체 MDP 설정으로 일반화하여 순차적 의사결정에서의 학습 복잡성을 캡처할 수 있는가?
• RQ3 보상 및 전이 함수가 저차원 함수 클래스에 속할 경우, 강화학습를 위한 후행 샘플링(PSRL)이 최적의 오차 스케일링을 달성하는가?
• RQ4 코로고프 차원과 엘류어 차원은 모델 기반 RL의 통계적 효율성에 어떤 관계를 갖는가?
• RQ5 제안된 분석은 선형, 리프시츠, 헬더 연속성 MDP에서 기존 오차 한계를 통합하고 개선할 수 있는가?

주요 결과

• 이 논문은 상태 및 행동의 기수 대신 엘류어 차원 $d_E$ 와 코로고프 차원 $d_K$ 에 따라 스케일링되는 첫 번째 통합 오차 한계를 확립한다.
• 오차 한계는 $\tilde{O}(\sqrt{d_K d_E T})$ 이며, 이는 전통적인 $\tilde{O}(S\sqrt{AT})$ 한계보다 함수 클래스의 복잡성에 따라 스케일링되므로 향상된 결과이다.
• 선형 MDP에서는 차원에 대한 지수적 의존성이 없는 상수를 갖는 $\tilde{O}(\sqrt{T})$ 오차 한계를 달성하여 이전 결과보다 개선된다.
• 리프시츠 및 헬더 연속성 MDP에서는 기존의 알려진 속도를 회복하지만, 이전 접근보다 더 일반적이고 계산적으로 타당하다.
• 분석은 PSRL이 이러한 한계를 충족함을 확인하며, 함수 근사가 있는 MDP에서 단순하고 효율적이며 이론적으로 최적의 알고리즘이 됨을 보여준다.
• 핵심 기술적 기여는 엘류어 차원을 MDP로 확장하여 순차적 의사결정 문제에서 학습 복잡성의 깔끔한 기술을 가능하게 한 것이다.