[논문 리뷰] Model-free Representation Learning and Exploration in Low-rank MDPs

Aditya Modi, Jing‐Lin Chen외 3명|arXiv (Cornell University)|2021. 02. 14.

Reinforcement Learning in Robotics참고 문헌 38인용 수 12

한 줄 요약

이 논문은 저질감 마코프 결정 과정(MDPs)에 대한 모델 자유 표현 학습 및 탐색 알고리즘을 처음으로 제안하며, 전체 모델 역학을 요구하지 않고도 증명 가능한 표본 효율성 학습을 가능하게 하는 새로운 최소최대 표현 학습 목표를 도입한다. 이 방법은 이 목표를 보상 자유 탐색과 결합하여 일반 함수 근사 기반으로 표본 효율성과 확장 가능성을 달성하며, 특징 클래스가 나열 가능한 경우 계산 효율성도 확보한다.

ABSTRACT

The low rank MDP has emerged as an important model for studying representation learning and exploration in reinforcement learning. With a known representation, several model-free exploration strategies exist. In contrast, all algorithms for the unknown representation setting are model-based, thereby requiring the ability to model the full dynamics. In this work, we present the first model-free representation learning algorithms for low rank MDPs. The key algorithmic contribution is a new minimax representation learning objective, for which we provide variants with differing tradeoffs in their statistical and computational properties. We interleave this representation learning step with an exploration strategy to cover the state space in a reward-free manner. The resulting algorithms are provably sample efficient and can accommodate general function approximation to scale to complex environments.

연구 동기 및 목표

• 이전 방법들이 모델 기반이었던 것과는 달리, 전체 모델 역학을 요구하지 않고 저질감 MDPs에서 표현 학습과 탐색의 과제를 해결하는 것.
• 알려진 또는 매개수로 실현 가능한 특징을 가정하지 않고 표현을 학습하는 모델 자유 접근법을 개발하는 것.
• 동일한 역학을 공유하지만 보상이 다른 다양한 후행 작업에서 표본 효율적인 학습을 가능하게 하는 것.
• 약한 실현 가능성 가정 하에 통계적으로 타당하고 계산적으로 효율적인 표현 학습 목표를 설계하는 것.
• 표현 학습을 보상 자유 탐색과 통합하여 상태 공간을 효과적으로 커버할 수 있도록 하는 것.

제안 방법

• 모든 함수의 벨만 백업이 진짜 특징 매핑 $\phi^*$ 에 대해 선형이라는 통찰에 기반해 새로운 최소최대 표현 학습 목표를 제안하는 것.
• 특징 클래스 $\Phi$ 에 의해 유도되는 디스criminator 클래스 $\mathcal{F}$ 에서의 최악의 근사 오차를 최소화하는 목표로 공식화하는 것.
• 계산 가능성을 향상시키기 위해 디스criminator 클래스의 점진적 확장을 도입하는 것.
• 특징 클래스 $\Phi$ 가 효율적으로 나열 가능한 경우 최소최대 최적화를 고유벡터 계산으로 줄여 계산 효율성의 증명 가능성을 확보하는 것.
• 표현 학습 단계를 보상 자유 탐색 전략과 번갈아가며 수행하여 상태 공간 전체를 효과적으로 커버하는 것.
• 복잡한 환경에까지 확장 가능하도록 일반 함수 근사 기법을 사용하여 제한적인 매개수 가정을 피하는 것.

실험 결과

연구 질문

• RQ1 모델 기반의 역학 추정을 필요로 하지 않고 저질감 MDPs에서 표현 학습과 탐색을 달성할 수 있는가?
• RQ2 공유된 역학을 가진 여러 후행 작업에서 표본 효율적인 학습을 가능하게 하는 모델 자유 방식으로 표현을 학습할 수 있는가?
• RQ3 가치 함수나 역동역학의 실현 가능성을 요구하지 않고 표현을 학습할 수 있는 최소최대 목표를 어떻게 설계할 수 있는가?
• RQ4 제안된 최소최대 표현 학습 목표의 다양한 변형 간의 통계적 및 계산적 트레이드오프는 어떠한가?
• RQ5 일반 함수 근사 기법을 사용하여 고차원 환경으로 확장하더라도 표본 효율성을 유지할 수 있는가?

주요 결과

• 제안된 모델 자유 알고리즘은 이전의 모델 기반 접근법과 달리 전체 모델 역학을 요구하지 않고도 저질감 MDPs에서 증명 가능한 표본 효율성을 달성한다.
• 최소최대 표현 학습 목표는 추가적인 실현 가능성 가정 없이도 디스criminator 클래스 내 모든 함수에 대해 벨만 백업을 선형적으로 근사하는 표현을 학습할 수 있도록 한다.
• 특징 클래스 $\Phi$ 가 효율적으로 나열 가능한 경우 최적화는 고유벡터 계산으로 줄어들며, 이는 증명 가능한 계산 효율성을 보장한다.
• 알고리즘은 일반 함수 근사 기법을 지원하여 딥 네URAL 네트워크를 포함한 복잡한 환경으로의 확장 가능성을 확보한다.
• 표현 학습과 보상 자유 탐색을 통합함으로써 상태 공간을 효과적으로 커버하고 표본 효율성을 달성한다.
• 합성 가설 클래스(예: 함수의 곱과 합)에 대한 의사 차원의 경계는 분석에서 일반화 및 일반화 경계를 지원한다.