[논문 리뷰] DeepAveragers: Offline Reinforcement Learning by Solving Derived Non-Parametric MDPs

Aayam Shrestha, Stefan Lee외 2명|arXiv (Cornell University)|2020. 10. 18.

Reinforcement Learning in Robotics참고 문헌 20인용 수 5

한 줄 요약

이 논문은 DeepAveragers with Costs MDP (DAC-MDP)를 제안하며, 정적 데이터셋을 가치 반복을 통한 최적 계획을 위한 표본화된 MDP로 변환하는 비모수적 오프라인 강화학습 프레임워크이다. 깊이 있는 표현과 부족하게 표현된 상태에 대한 비관주의 기반 비용을 통합함으로써, 아케이드 게임과 같은 이미지 기반 환경에서 확장 가능하고, 사전 학습 없이도 적응 가능한 정책을 달성한다. 이는 이러한 복잡한 설정에서 최적 계획의 첫 성공적인 적용을 보여준다.

ABSTRACT

We study an approach to offline reinforcement learning (RL) based on optimally solving finitely-represented MDPs derived from a static dataset of experience. This approach can be applied on top of any learned representation and has the potential to easily support multiple solution objectives as well as zero-shot adjustment to changing environments and goals. Our main contribution is to introduce the Deep Averagers with Costs MDP (DAC-MDP) and to investigate its solutions for offline RL. DAC-MDPs are a non-parametric model that can leverage deep representations and account for limited data by introducing costs for exploiting under-represented parts of the model. In theory, we show conditions that allow for lower-bounding the performance of DAC-MDP solutions. We also investigate the empirical behavior in a number of environments, including those with image-based observations. Overall, the experiments demonstrate that the framework can work in practice and scale to large complex offline RL problems.

연구 동기 및 목표

• 오프라인 강화학습에서 깊이 있는 표현 학습과 최적 계획 간의 격차를 메우기 위해.
• 부족하게 표현된 상태 전이에 대한 비관주의를 통합하여 오프라인 강화학습의 모델 정확도 문제를 해결하기 위해.
• 원칙적인 표본화된 기반 계획 프레임워크를 활용해 재학습 없이도 새로운 목표와 환경 변화에 대해 제로샷 적응을 가능하게 하기 위해.
• 아케이드 게임과 같은 큰 복잡한 환경에 최적 계획을 확장하기 위해.
• 특정 조건 하에서 성능 하한을 보장하는 이론적 보장을 제공하기 위해.

제안 방법

• 정적 데이터셋과 학습된 또는 무작위의 잠재 표현에서 유도된 연속된 잠재 공간에 대해 비모수적 MDP인 DAC-MDP를 구성한다.
• 데이터셋의 고유한 상태-행동 전이로부터 유한한 표본화된 MDP를 유도하여 전체 DAC-MDP의 핵심을 포괄한다.
• 유도된 표본화된 MDP에 가치 반복을 적용하여 핵심 상태에 대한 최적 Q함수와 정책을 계산한다.
• 보간을 통해 핵심 Q함수를 전체 연속된 잠재 공간으로 확장하여 미리 보지 않은 상태에 대한 추론을 가능하게 한다.
• 데이터 밀도 또는 불확실성 추정 기반으로 부족하게 표현된 전이의 이용을 방지하기 위해 비관주의 비용을 도입한다.
• GPU 가속 가치 반복 구현을 활용하여 수백만 개 상태로 확장 가능하게 하여 아케이드 게임과 같은 대규모 문제에 적용 가능하게 한다.

실험 결과

연구 질문

• RQ1 깊이 있는 표현과 제한된 데이터를 가진 오프라인 강화학습에 최적 계획을 효과적으로 적용할 수 있는가?
• RQ2 부족하게 표현된 상태에 대한 비관주의는 오프라인 강화학습에서 일반화 및 성능 향상에 어떻게 기여하는가?
• RQ3 재학습 없이도 새로운 목표와 환경 변화에 대해 제로샷 적응을 지원할 수 있는가?
• RQ4 DAC-MDP 솔루션이 실제 환경에서 near-최적 성능을 보장하는 데 필요한 이론적 조건은 무엇인가?
• RQ5 이 방법은 이미지와 같은 고차원 관측 공간으로 확장 가능한가?

주요 결과

• DAC-MDP 프레임워크는 오프라인 모델-프리 강화학습에서 유도된 간단한 잠재 표현을 사용하여 아케이드 수준의 환경으로 확장되었으며, 이러한 설정에서 최적 계획의 첫 효과적인 적용을 보여주었다.
• 사전에 계산된 Q함수와 정책을 잠재 공간에서 재사용하여 새로운 목표와 환경 변화에 대해 제로샷 적응을 달성하였다.
• 이론적 분석을 통해 DAC-MDP 솔루션이 실제 환경에서 near-최적 성능을 보장하는 조건을 제공하였다.
• 실험 결과는 비관주의 기반 비용이 비비관주의 기반 기준보다 낮은 데이터 영역에서 유연성과 성능 향상에 크게 기여하는 것으로 나타났다.
• GPU 최적화 가치 반복 구현을 통해 수백만 개 상태를 가진 표본화된 MDP를 효율적으로 해결할 수 있어, 대규모 문제에 실용적인 접근이 가능해졌다.
• 3D 1인칭 탐색 사례 연구를 통해 동적 목표와 환경 변화를 다루는 데 프레임워크의 유연성이 확인되었다.