[논문 리뷰] Nearly Minimax Optimal Reinforcement Learning for Linear Markov Decision Processes

Jiafan He, Heyang Zhao외 2명|arXiv (Cornell University)|2022. 12. 12.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 선형 마르코프 결정 과정에서 거의 최소 최대 최적의 리그레트 $ widetilde{O}(d\sqrt{H^3K})$ 를 달성하는 계산적으로 효율적인 강화 학습 알고리즘인 LSVI-UCB++를 제안한다. 이 알고리즘은 추정 정확도를 향상시키고 리그레트를 감소시키기 위해 분산 인식 가중 리지 회귀와 희귀 전환 정책을 조합한다. 이는 로그 인자 외에는 알려진 이론적 하한과 일치한다.

ABSTRACT

We study reinforcement learning (RL) with linear function approximation. For episodic time-inhomogeneous linear Markov decision processes (linear MDPs) whose transition probability can be parameterized as a linear function of a given feature mapping, we propose the first computationally efficient algorithm that achieves the nearly minimax optimal regret $ ilde O(d\sqrt{H^3K})$, where $d$ is the dimension of the feature mapping, $H$ is the planning horizon, and $K$ is the number of episodes. Our algorithm is based on a weighted linear regression scheme with a carefully designed weight, which depends on a new variance estimator that (1) directly estimates the variance of the optimal value function, (2) monotonically decreases with respect to the number of episodes to ensure a better estimation accuracy, and (3) uses a rare-switching policy to update the value function estimator to control the complexity of the estimated value function class. Our work provides a complete answer to optimal RL with linear MDPs, and the developed algorithm and theoretical tools may be of independent interest.

연구 동기 및 목표

• 기존의 계산적으로 효율적인 강화 학습 알고리즘과 선형 MDP에 대한 최소 최대 최적 리그레트 한계 사이의 격차를 해소하기 위해.
• 이전의 선형 혼합 MDP 접근 방식에서 요구하는 비용이 많이 드는 통합 또는 샘플링 오라클에 의존하지 않고 거의 최적의 리그레트를 달성하는 방법을 개발하기 위해.
• 진정한 가치 함수의 분산을 직접 목표로 삼는 분산 추정기 설계를 통해 더 날카운 신뢰 구간을 확보하기 위해.
• 희귀 전환 업데이트 전략을 통해 가치 함수 추정기의 복잡도를 균일하게 제어하면서도 계산 효율성을 유지하기 위해.

제안 방법

• 추정 정확도를 향상시키기 위해 새로운 분산 인식 가중 함수를 갖춘 가중 리지 회귀 기법을 제안한다.
• 진정한 최적 가치 함수의 분산을 직접 추정하는 새로운 분산 추정기를 도입한다. 이는 과도한 추정 위험을 감소시킨다.
• 시간이 지남에 따라 단조 감소하는 가치 함수 추정기를 활용하여 추정 정확도를 향상시킨다.
• 희귀 전환 정책을 사용하여 가치 함수 추정기를 업데이트함으로써 추정 함수 클래스의 복잡도를 제어한다.
• 행렬 농도 불등식을 활용하여 선형 회귀의 고확률 경계 기반 신뢰 타원체 프레임워크를 적용한다.
• 모든 에피소드 동안 추정 오차에 대한 균일한 제어를 보장하는 새로운 정규화된 회귀 절차를 통합한다.

실험 결과

연구 질문

• RQ1 계산적으로 효율적인 강화 학습 알고리즘이 선형 MDP에서 거의 최소 최대 최적의 리그레트를 달성할 수 있는가?
• RQ2 기존의 LSVI-UCB 스타일 알고리즘을 초월하여 리그레트를 감소시키기 위해 분산 추정을 어떻게 향상시킬 수 있는가?
• RQ3 생성 모델이나 비용이 많이 드는 오라클에 의존하지 않고도 리그레트 한계를 알려진 하한 $O(d\sqrt{H^3K})$ 와 일치시킬 수 있는가?
• RQ4 단조 감소하는 가치 함수 추정기는 추정 정확도와 리그레트 한계 향상에 어떤 역할을 하는가?
• RQ5 추정된 가치 함수 클래스의 복잡도는 어떻게 제어하여 균일 수렴을 보장할 수 있는가?

주요 결과

• 제안된 LSVI-UCB++ 알고리즘은 $\widetilde{O}(d\sqrt{H^3K})$ 의 리그레트 한계를 달성하며, 로그 인자 외에는 알려진 하한과 일치한다.
• 분산 인식 회귀 기법을 통해 $H$ 의 의존도를 줄임으로써 Jin 등(2020)의 $\widetilde{O}(\sqrt{d^3H^4K})$ 리그레트를 향상시킨다.
• 새로운 분산 추정기는 진정한 가치 함수의 분산을 직접 목표로 삼아 이전 방법보다 더 날카운 신뢰 구간을 제공한다.
• 희귀 전환 정책은 가치 함수 추정기가 계산적으로 효율적인 동안도 균일한 추정 정확도를 유지하도록 보장한다.
• 이 방법은 통합 또는 샘플링 오라클에 의존하지 않아, 이러한 오라클이 비가능한 일반적인 선형 MDP에 적용 가능하다.
• 이론적 프레임워크는 동시에 발표된 연구(Hu 등, 2022)의 기술적 결함을 해결하며, 철저한 분석을 통해 접근의 정확성을 검증한다.