[논문 리뷰] Is a Good Representation Sufficient for Sample Efficient Reinforcement Learning?

Simon S. Du, Sham M. Kakade외 2명|arXiv (Cornell University)|2019. 10. 07.

Reinforcement Learning in Robotics참고 문헌 47인용 수 32

한 줄 요약

이 논문은 좋은 표현만으로는 샘플 효율적인 강화학습가능하지 않음을 입증하며, 근사 오차를 초월하는 기초적인 통계적 한계를 드러낸다. 가치 기반, 모델 기반, 정책 기반 방법 모두에 대해 샘플 복잡도에 대한 지수적 하한을 설정한다. 표현이 거의 최적일 때조차도 성립한다. 핵심 기여는 효율적 학습을 가능하게 하기 위해 표현의 치수가 엄격한 경계를 충족해야 한다는 것을 보여주는 것으로, 이는 표현의 차원이 충분히 높아야만 효율적 학습이 가능함을 시사한다.

ABSTRACT

Modern deep learning methods provide effective means to learn good representations. However, is a good representation itself sufficient for sample efficient reinforcement learning? This question has largely been studied only with respect to (worst-case) approximation error, in the more classical approximate dynamic programming literature. With regards to the statistical viewpoint, this question is largely unexplored, and the extant body of literature mainly focuses on conditions which permit sample efficient reinforcement learning with little understanding of what are necessary conditions for efficient reinforcement learning. This work shows that, from the statistical viewpoint, the situation is far subtler than suggested by the more traditional approximation viewpoint, where the requirements on the representation that suffice for sample efficient RL are even more stringent. Our main results provide sharp thresholds for reinforcement learning methods, showing that there are hard limitations on what constitutes good function approximation (in terms of the dimensionality of the representation), where we focus on natural representational conditions relevant to value-based, model-based, and policy-based learning. These lower bounds highlight that having a good (value-based, model-based, or policy-based) representation in and of itself is insufficient for efficient reinforcement learning, unless the quality of this approximation passes certain hard thresholds. Furthermore, our lower bounds also imply exponential separations on the sample complexity between 1) value-based learning with perfect representation and value-based learning with a good-but-not-perfect representation, 2) value-based learning and policy-based learning, 3) policy-based learning and supervised learning and 4) reinforcement learning and imitation learning.

연구 동기 및 목표

• 통계적 시각에서 좋은 표현이 샘플 효율적 강화학습에 충분한지 여부를 조사하기 위해.
• 이전 연구에서 다루어진 충분조건을 넘어서 효율적 학습을 위한 필수 조건을 규명하기 위해.
• 좋은 표현을 가진 가치 기반, 모델 기반, 정책 기반 강화학습 알고리즘에 대해 날카롭고 지수적 하한을 설정하기 위해.
• 다양한 강화학습 패러다임과 관련 학습 설정 간의 지수적 분리 현상을 입증하기 위해.
• 심지어 거의 최적의 표현이라도 치수와 마진 요구 조건을 충족하지 못하면 효율적 학습을 보장하지 못할 수 있음을 보여주기 위해.

제안 방법

• 이중 트리 구조를 가진 MDP 가족을 구성하여 일반화의 어려움을 유도하고, 지수적으로 많은 상태를 가짐으로써 어려운 일반화 과제를 만들기 위해.
• 치수 $\tilde{\theta}(d)$를 갖는 고차원 특징 공간을 사용하여 치수의 고통의 영향을 악용하기 위해.
• 단위 구면에서 $\triangle$-분리 넷을 사용하여 마진 $\triangle$을 갖는 선형으로 분리 가능한 최적 정책을 구성하기 위해.
• 표준 $\triangle$-넷 하한을 적용하여 상호 간 거리가 분리된 지수적 크기의 벡터 집합이 존재함을 보여주기 위해.
• 가정 4.5(선형 정책과 마진) 하에 가치 기반, 모델 기반, 정책 기반 강화학습에 대한 샘플 복잡도에 지수적 하한을 유도하기 위해.
• 다양한 설정 간 샘플 복잡도를 비교하기 위해: 완벽한 표현 대 양호하지만 완벽하지 않은 표현, 가치 기반 대 정책 기반, 강화학습 대 이민 학습, 강화학습 대 지도 학습.

실험 결과

연구 질문

• RQ1 통계적 시각에서 좋은 표현이 샘플 효율적 강화학습에 충분한가?
• RQ2 근사 오차를 초월하여 효율적 강화학습을 위한 표현에 필요한 조건은 무엇인가?
• RQ3 좋은 표현을 가진 가치 기반, 모델 기반, 정책 기반 강화학습에서 계획 수평 $H$에 따라 샘플 복잡도가 어떻게 변화하는가?
• RQ4 다양한 강화학습 패러다임과 학습 설정 간에 어떤 지수적 분리가 존재하는가?
• RQ5 거의 최적의 표현이라도 강화학습에서 지수적 샘플 복잡도에 빠질 수 있는가?

주요 결과

• 좋은 표현이 있더라도 가치 기반, 모델 기반, 정책 기반 강화학습 방법에 대해 샘플 복잡도에 지수적 하한이 존재함을 입증함.
• 샘플 복잡도가 계획 수평 $H$에 따라 지수적으로 증가함을 보여주며, 이는 좋은 표현만으로는 효율성을 보장하지 못함을 시사함.
• 값 기반 강화학습에서 완벽한 표현과 양호하지만 완벽하지 않은 표현 간에 지수적 분리가 존재함.
• 최적의 $Q$-함수를 완벽하게 표현할 수 있더라도 정책 기반 학습은 가치 기반 학습보다 지수적으로 더 많은 샘플이 필요함.
• $H > 1$일 경우 강화학습의 샘플 복잡도는 지도 학습보다 지수적으로 높으며, 이는 지도 학습이 강화학습의 특수한 경우임을 감안할 때 놀라운 결과임.
• 강화학습과 이민 학습 간에 지수적 분리가 존재함을 보여주며, 전문가의 시범 데이터가 샘플 복잡도를 극적으로 감소시킴을 시사함.