[논문 리뷰] Provably Efficient Exploration for RL with Unsupervised Learning

Fei Feng, Ruosong Wang외 3명|arXiv (Cornell University)|2020. 03. 15.

Advanced Bandit Algorithms Research참고 문헌 1인용 수 4

한 줄 요약

이 논문은 비지도 학습과 no-regret 표본형 강화 학습을 조합하여 강화 학습을 위한 증명 가능하게 효율적인 탐색 프레임워크를 제안한다. 다항 수준의 샘플 복잡도를 가지는 비지도 학습 알고리즘을 사용할 경우, 잠재 상태의 수에 대해 다항 시간 내에 근사 최적 정책을 찾을 수 있음을 증명한다—관찰 수보다 훨씬 적은 수이며, 풍부한 관찰을 가진 MDP에서 효율적인 탐색을 위한 이론적 보장을 제공한다.

ABSTRACT

Motivated by the prevailing paradigm of using unsupervised learning for efficient exploration in reinforcement learning (RL) problems [tang2017exploration,bellemare2016unifying], we investigate when this paradigm is provably efficient. We study episodic Markov decision processes with rich observations generated from a small number of latent states. We present a general algorithmic framework that is built upon two components: an unsupervised learning algorithm and a no-regret tabular RL algorithm. Theoretically, we prove that as long as the unsupervised learning algorithm enjoys a polynomial sample complexity guarantee, we can find a near-optimal policy with sample complexity polynomial in the number of latent states, which is significantly smaller than the number of observations. Empirically, we instantiate our framework on a class of hard exploration problems to demonstrate the practicality of our theory.

연구 동기 및 목표

• 비지도 학습이 강화 학습에서 증명 가능하게 효율적인 탐색을 가능하게 하는 조건을 규명하는 것.
• 작은 수의 잠재 상태에서 유래된 풍부한 관찰을 가진 에피소딕 MDP에서 효율적인 탐색의 과제를 해결하는 것.
• 표본 효율성을 향상시키기 위해 비지도 학습과 표본형 강화 학습을 통합하는 일반적인 알고리즘 프레임워크를 개발하는 것.
• 샘플 복잡도에 대한 이론적 보장을 확립하여 관찰 수가 아닌 잠재 상태 수에 따라 스케일링되도록 하는 것.

제안 방법

• 프레임워크는 풍부한 관찰을 잠재 상태로 매핑하는 비지도 학습 알고리즘과 잠재 공간에서 정책을 학습하는 no-regret 표본형 강화 학습 알고리즘을 조합한다.
• 비지도 학습 알고리즘이 다항 샘플 복잡도를 가지며, 효율적인 잠재 상태 추론을 보장한다고 가정한다.
• 강화 학습 컴포넌트는 잠재 MDP에서 작동하며, no-regret 학습을 통해 근사 최적 정책으로 수렴한다.
• 이론적 분석을 통해 전체 샘플 복잡도가 관찰 수가 아닌 잠재 상태 수에 대해 다항적으로 스케일링됨을 보여준다.
• 프레임워크는 어려운 탐색 문제에 적용되어 실용적 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 비지도 학습이 강화 학습에서 증명 가능하게 효율적인 탐색으로 이어지는 조건은 무엇인가?
• RQ2 근사 최적 정책을 학습하는 데 필요한 샘플 복잡도가 관찰 수가 아닌 잠재 상태 수에 따라 유계로 유지될 수 있는가?
• RQ3 비지도 표현 학습을 어떻게 공식적으로 no-regret 강화 학습과 통합하여 이론적 효율성을 확보할 수 있는가?
• RQ4 비지도 컴포넌트가 다항 샘플 효율성을 가지는 경우, 프레임워크가 샘플 효율성을 유지하는가?
• RQ5 이론적 프레임워크는 도전적인 탐색 과제에 실용적으로 적용될 수 있는가?

주요 결과

• 프레임워크는 잠재 상태 수에 대해 다항 샘플 복잡도를 가지며 근사 최적 정책 학습을 달성한다. 이는 관찰 수보다 훨씬 작다.
• 비지도 학습 알고리즘이 다항 샘플 복잡도를 가지면 이론적 보장이 유지된다.
• 실험 결과는 프레임워크가 어려운 탐색 문제의 일군에 대해 실용적으로 타당함을 보여준다.
• 환경의 저차원 잠재 구조를 활용함으로써 샘플 복잡도의 병목 현상을 효과적으로 줄인다.
• 비지도 학습과 no-regret 강화 학습의 통합은 잠재 구조에 대한 사전 지식 없이도 증명 가능한 효율성을 가능하게 한다.