[논문 리뷰] POPGym: Benchmarking Partially Observable Reinforcement Learning

Steven Morad, Ryan Kortvelesy외 3명|arXiv (Cornell University)|2023. 03. 03.

Mobile Crowdsensing and Crowdsourcing인용 수 5

한 줄 요약

POPGym은 부분 관찰 강화 학습(POMDP)을 위한 종합적인 벤치마크를 제공하며, 다양한 환경 15종과 난이도 수준 다수, 메모리 모델 기준 13종을 포함한다. RLlib 기반으로 구축되어 메모리 기반 강화 학습 에이전트의 빠르고 확장 가능한 평가가 가능하며, 소비자용 GPU에서 두 시간 이내에 수렴이 가능하고, 지금까지 가장 큰 규모의 메모리 모델 비교 연구를 가능하게 한다.

ABSTRACT

Real world applications of Reinforcement Learning (RL) are often partially observable, thus requiring memory. Despite this, partial observability is still largely ignored by contemporary RL benchmarks and libraries. We introduce Partially Observable Process Gym (POPGym), a two-part library containing (1) a diverse collection of 15 partially observable environments, each with multiple difficulties and (2) implementations of 13 memory model baselines -- the most in a single RL library. Existing partially observable benchmarks tend to fixate on 3D visual navigation, which is computationally expensive and only one type of POMDP. In contrast, POPGym environments are diverse, produce smaller observations, use less memory, and often converge within two hours of training on a consumer-grade GPU. We implement our high-level memory API and memory baselines on top of the popular RLlib framework, providing plug-and-play compatibility with various training algorithms, exploration strategies, and distributed training paradigms. Using POPGym, we execute the largest comparison across RL memory models to date. POPGym is available at https://github.com/proroklab/popgym.

연구 동기 및 목표

• 기존 강화 학습 라이브러리에서 부분 관찰 강화 학습(POMDP)을 위한 종합적이고 다양한, 효율적인 벤치마크의 부족 문제를 해결하기 위해.
• 다양한 메모리 모델 기준을 통합하여 POMDP 환경에서 체계적인 비교가 가능한 통합형 고성능 라이브러리 제공을 위해.
• 낮은 차원의 관찰을 통해 다양한 작업에서 메모리 모델의 대규모·재현 가능한 평가를 가능하게 하기 위해.
• 표준화되고 확장 가능한 벤치마크 프레임워크를 제공하여 강화 학습 분야의 재현성 위기를 해결하고, 인기 있는 강화 학습 학습 파이프라인과 호환 가능하도록 하기 위해.
• 일반적으로 3~4종의 메모리 모델만 지원하고, 대부분 프레임 스택킹과 LSTM에 국한된 강화 학습 라이브러리의 격차를 메우기 위해.

제안 방법

• 그리드 월드, 카드 게임, 제어 작업을 포함한 다양한 POMDP 환경 15종을 설계 및 구현하였으며, 각 환경은 다수의 난이도 수준과 과도한 피팅을 방지하기 위한 프로시저럴 레벨 생성 기능을 갖추고 있다.
• RLlib 위에 구축된 고수준 메모리 API를 개발하여 다양한 강화 학습 알고리즘, 탐색 전략, 분산 학습 환경과의 원활한 통합을 가능하게 하였다.
• LSTM, GRU, S4D, TCN, LMU 및 FART, DNC와 같은 새로운 모델을 포함한 총 13종의 별도 메모리 모델 기준을 구현하여 직접 비교가 가능하도록 하였다.
• 낮은 차원의 관찰을 사용하여 빠른 학습(단일 소비자 GPU에서 두 시간 이내)과 메모리 소비 감소를 확보하였다.
• 모든 환경 및 난이도 수준에서 표준화된 평가 프로토콜을 도입하여 공정하고 재현 가능한 비교를 보장하였다.
• 기존 RLlib 생태계와 통합하여 일반적인 학습 및 로깅 프레임워크와 즉각적인 호환성을 확보하였다.

Figure 2: Performance characteristics for POPGym memory baselines on random inputs. We use a recurrent state size of 256, a batch size of 64, and a episode length of 1024. We compute CPU statistics on a 3GHz Xeon Gold and GPU statistics on a 2080Ti, reporting the mean and 95% confidence interval ove

실험 결과

연구 질문

• RQ1 다양한 POMDP 작업, 특히 비경로 탐색 도메인을 포함해 어떤 메모리 모델이 가장 잘 일반화되는가?
• RQ2 최신 순차 모델(S4D, LMU, TCN 등)은 기존 RNN(LSTM, GRU 등)과 비교해 부분 관찰 환경에서 어떻게 성능을 내는가?
• RQ3 장기 의존성 또는 지연 보상이 있는 작업에서 메모리 모델은 성능 향상에 얼마나 기여하는가?
• RQ4 다양한 수준의 부분 관찰성과 노이즈 하에서 다양한 메모리 아키텍처는 어떻게 성능을 내는가?
• RQ5 FART와 같은 통합형·확장 가능한 벤치마크인 POPGym은 메모리 증강 강화 학습 분야에서 더 체계적이고 재현 가능한 진전을 이끌 수 있는가?

주요 결과

• LSTM 및 GRU 모델은 RepeatFirst 및 RepeatPrevious 작업에서 거의 최적의 성능(평균 수익 1.000)을 기록하여 단기 기억 작업에서 뛰어난 성능을 보였다.
• S4D 모델은 RepeatFirstHard 작업에서 0.289의 수익을 기록하여 대부분의 기준 모델을 앞서며, POMDP 환경에서 구조화된 순차 모델링 잠재력을 보여주었다.
• FART 및 FWP 모델은 장기 기억이 필요한 작업에서 뛰어난 성능을 보였으며, FART는 RepeatFirstHard에서 0.962, RepeatPreviousHard에서 0.867의 수익을 기록하였다.
• MLP 및 PosMLP 모델은 메모리 집약적인 작업에서 빈약한 성능을 보였으며, 하드 버전에서 수익이 0.5 이하로 떨어져 비반복 아키텍처의 POMDP 내 한계를 드러내었다.
• 프레임 스택킹(Fr.Stack)은 쉬운 작업(예: StatelessCartPoleEasy에서 1.000)에서는 잘 작동했지만, 더 어려운 작업에서는 성능이 급격히 떨어져 일반화 능력의 국한성을 보여주었다.
• DNC 모델은 혼합된 결과를 보였으며, RepeatFirstHard에서는 0.716의 수익을 기록했지만 더 어려운 변형에서는 음수 수익을 기록하여 고부분 관찰 조건에서 메모리 검색의 불안정성을 드러내었다.

Figure 3: (Left) A summary comparison of baselines aggregated over all environments. We normalize the MMER such that 0 denotes the worst trial and 1 denotes the best trial for a specific environment. We report the interquartile range (box), median (horizontal line), and mean (dot) normalized MMER ov