[논문 리뷰] Sample-Efficient Reinforcement Learning Is Feasible for Linearly Realizable MDPs with Limited Revisiting

Gen Li, Yuxin Chen외 3명|arXiv (Cornell University)|2021. 05. 17.

Advanced Bandit Algorithms Research참고 문헌 58인용 수 5

한 줄 요약

이 논문은 선형으로 실현 가능한 MDP에서 샘플 효율적인 학습을 가능하게 하는 새로운 온라인 강화학습 프로토콜을 제안한다. 이는 이전에 방문한 상태를 제어되고 흔한 방식으로 재방문할 수 있도록 허용함으로써 이루어진다. 저자들은 특징 차원, 환경의 지속 기간, 하위최적성 갭의 역수에 대해 다항 수준의 샘플 복잡도를 달성하는 맞춤형 알고리즘을 설계하였으며, 상태/행동 공간의 크기에 의존하지 않는다. 이로써 생성 모델과 표준 온라인 RL 간의 격차를 메운다.

ABSTRACT

Low-complexity models such as linear function representation play a pivotal role in enabling sample-efficient reinforcement learning (RL). The current paper pertains to a scenario with value-based linear representation, which postulates the linear realizability of the optimal Q-function (also called the "linear $Q^{\star}$ problem"). While linear realizability alone does not allow for sample-efficient solutions in general, the presence of a large sub-optimality gap is a potential game changer, depending on the sampling mechanism in use. Informally, sample efficiency is achievable with a large sub-optimality gap when a generative model is available but is unfortunately infeasible when we turn to standard online RL settings. In this paper, we make progress towards understanding this linear $Q^{\star}$ problem by investigating a new sampling protocol, which draws samples in an online/exploratory fashion but allows one to backtrack and revisit previous states in a controlled and infrequent manner. This protocol is more flexible than the standard online RL setting, while being practically relevant and far more restrictive than the generative model. We develop an algorithm tailored to this setting, achieving a sample complexity that scales polynomially with the feature dimension, the horizon, and the inverse sub-optimality gap, but not the size of the state/action space. Our findings underscore the fundamental interplay between sampling protocols and low-complexity structural representation in RL.

연구 동기 및 목표

• 선형 함수 근사 하에서 샘플 효율성 문제를 해결하는 것, 특히 최적의 Q-함수의 선형 실현 가능성에 초점한다.
• 최적의 Q-함수의 선형 실현 가능성은 있지만 큰 하위최적성 갭이 존재하지 않는 온라인 RL 환경에서 샘플 효율성이 가능한지 탐구하는 것.
• 제한적이고 제어 가능한 이전 상태 재방문을 허용함으로써 융통성과 실용성의 균형을 이루는 새로운 샘플링 프로토콜을 탐색하는 것.
• 상태 또는 행동 공간의 크기에 의존하지 않으며 핵심 문제 매개변수에 대해 다항 수준의 샘플 복잡도를 달성하는 알고리즘 개발

제안 방법

• 표준 온라인 RL과 생성 모델 사이의 중간 지점이 되는, 온라인 탐색과 흔하지 않은 제어된 이전 상태 재방문을 조합한 새로운 샘플링 프로토콜을 제안한다.
• 이 프로토콜에 맞춰 특화된 알고리즘을 설계하였으며, 선형 Q-함수 실현 가능성의 구조와 하위최적성 갭을 활용해 효율적인 학습을 이끌어낸다.
• 기존의 가치 기반 학습 방식을 사용하며, 선형 함수 근사를 적용한다. 이는 최적의 Q-함수가 알려진 특징들의 선형 결합에 포함된다는 가정을 기반으로 한다.
• 온정책 전이와 간헐적인 상태 재방문을 통합한 수정된 업데이트 규칙을 사용하여, 분산을 줄이고 Q-값 추정치를 개선한다.
• 새로운 프로토콜 하에서 알고리즘의 샘플 복잡도를 분석하여, 특징 차원, 환경의 지속 기간, 하위최적성 갭의 역수에 대해 다항 수준으로 스케일링됨을 증명한다.
• 이론적 경계를 확립하여, 알고리즘이 상태 또는 행동 공간의 크기에 대해 지수적 의존성을 피한다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 생성 모델보다 더 실용적인 샘플링 프로토콜을 사용할 때, 선형으로 실현 가능한 MDP에서 샘플 효율적인 강화학습을 달성할 수 있는가?
• RQ2 제한적이고 제어 가능한 이전 상태 재방문을 허용할 경우, 하위최적성 갭이 존재하는 상황에서 다항 수준의 샘플 복잡도를 달성할 수 있는가?
• RQ3 샘플링 프로토콜과 구조적 가정(예: 선형 실현 가능성) 간의 상호작용이 샘플 효율성에 어떤 영향을 미치는가?
• RQ4 생성 모델이 제공되지 않는 온라인 RL 환경에서 선형 함수 근사를 사용할 경우 샘플 효율성을 달성할 수 있는가?

주요 결과

• 제안된 알고리즘은 특징 차원, 환경의 지속 기간, 하위최적성 갭의 역수에 대해 다항 수준의 샘플 복잡도를 달성한다.
• 샘플 복잡도는 상태 또는 행동 공간의 크기에 의존하지 않으며, 이는 큰 또는 연속적인 공간으로의 확장 가능성을 시사한다.
• 제어된 상태 재방문 메커니즘이 표준 온라인 RL이 실패하는 상황에서도 샘플 효율성을 가능하게 하며, 선형 실현 가능성과 하위최적성 갭이 존재하는 조건에서도 성립한다.
• 이론적 분석을 통해 새로운 프로토콜이 선형으로 실현 가능한 MDP에서 샘플 효율적 학습을 가능하게 함을 확인하였으며, 생성 모델과 표준 온라인 RL 간의 격차를 해소한다.
• 결과는 샘플링 프로토콜이 선형 실현 가능성과 같은 구조적 가정과 결합될 때 샘플 효율성의 핵심 요소임을 보여준다.
• 알고리즘의 성능은 새로운 프로토콜 하에서 안정적이며, 특징 표현과 하위최적성 갭에 대해 약한 가정 하에서도 이론적 보장을 유지한다.