[논문 리뷰] Recurrent Model-Free RL is a Strong Baseline for Many POMDPs

Tianwei Ni, Benjamin Eysenbach외 1명|arXiv (Cornell University)|2021. 10. 11.

Fuzzy Logic and Control Systems인용 수 8

한 줄 요약

이 논문은 부분 관측 환경에서 기억을 처리하기 위해 순환 신경망을 사용하는 철저하게 설계된 순환 모델-무료 강화 학습 에이전트가 특정 POMDP 유형을 위한 전문화된 알고리즘과 경쟁 가능하며, 때로는 이를 뛰어넘는 성능을 보임을 보여준다. 저자들은 이 접근법을 메타-RL, 강건한 RL, 일반화 작업을 위한 강력하고 일반적인 기준선으로 확립한다.

ABSTRACT

Many problems in RL, such as meta RL, robust RL, and generalization in RL, can be cast as POMDPs. In theory, simply augmenting model-free RL with memory, such as recurrent neural networks, provides a general approach to solving all types of POMDPs. However, prior work has found that such recurrent model-free RL methods tend to perform worse than more specialized algorithms that are designed for specific types of POMDPs. This paper revisits this claim. We find that careful architecture and hyperparameter decisions yield a recurrent model-free implementation that performs on par with (and occasionally substantially better than) more sophisticated recent techniques in their respective domains. We also release a simple and efficient implementation of recurrent model-free RL for future work to use as a baseline for POMDPs. Code is available at https://github.com/twni2016/pomdp-baselines

연구 동기 및 목표

• 일반적인 POMDP에 대해 순환 모델-무료 강화 학습이 강건하고 일반적인 기준선으로 기능할 수 있는지 조사하기.
• POMDP에서 전문화된 알고리즘이 일반적 접근보다 우월하다는 일반적인 견해에 도전하기.
• 순환 모델-무료 강화 학습의 성능을 크게 향상시키는 아키텍처 및 하이퍼파라미터 선택 사항을 규명하기.
• 미래의 POMDP 연구를 위한 단순하고 효율적이며 재사용 가능한 구현 제공하기.
• 메모리 증강 모델-무료 강화 학습이 메타-RL, 강건한 RL, 일반화 작업에서 최신 기준 성능을 충족하거나 초월할 수 있음을 입증하기.

제안 방법

• 에이전트가 부분 관측을 처리할 수 있도록 이력 정보를 캡처하는 은닉 상태를 유지하기 위해 순환 신경망(RNN)을 사용한다.
• RNN 기반 정책 및 가치 네트워크를 사용하여 표준 모델-무료 강화 학습 알고리즘(PPO, SAC 등)을 적용한다.
• 훈련을 안정화시키기 위해 하이퍼파라미터 튜닝과 아키텍처 선택(예: 잔차 연결, 정규화)을 철저히 수행한다.
• 경험 재생을 사용한 정책 기반 또는 비정책 기반 알고리즘을 통해 RNN 정책을 엔드 투 엔드로 훈련시킨다.
• 메타-RL, 강건한 RL, 일반화 작업을 포함한 다양한 POMDP 벤치마크에서 성능을 검증한다.
• 재현 가능성과 향후 기준선 사용을 위해 GitHub에 경량이고 효율적인 구현을 공개한다.

실험 결과

연구 질문

• RQ1 일반적인 순환 모델-무료 강화 학습 에이전트가 POMDP에서 전문화된 알고리즘을 능가할 수 있는가?
• RQ2 순환 모델-무료 강화 학습에서 뛰어난 성능을 달성하기 위해 핵심적인 아키텍처 및 하이퍼파라미터 선택은 무엇인가?
• RQ3 메타-RL, 강건한 RL, 일반화 작업에서 순환 모델-무료 강화 학습은 최신 기준 방법과 어떻게 비교되는가?
• RQ4 단일의 통합 아키텍처가 다양한 POMDP 환경에서 강력한 기준선으로 기능할 수 있는가?
• RQ5 RNN 기반 정책 네트워크의 철저한 설계를 통해 훈련 안정성과 성능 향상은 어느 정도 달성될 수 있는가?

주요 결과

• 다양한 POMDP 벤치마크에서 순환 모델-무료 강화 학습 에이전트가 전문화된 알고리즘과 동등하거나 뛰어난 성능을 기록한다.
• 적절한 아키텍처 설계와 하이퍼파라미터 튜닝을 통해 순환 모델-무료 강화 학습은 메타-RL, 강건한 RL, 일반화 작업 전반에서 경쟁 가능한 기준선이 된다.
• 특히 일반화 및 강건성 설정에서 전문화된 기준선보다 성능이 뛰어나다.
• 이전에 순환 모델-무료 강화 학습이 성능이 열등했던 것은 본질적인 제약가 아니라 최적화되지 않은 구현 탓임을 저자들이 입증한다.
• 공개된 코드베이스는 향후 POMDP 연구를 위한 신뢰할 수 있고 효율적이며 재사용 가능한 기준선을 제공한다.
• 결과적으로 메모리 증강 모델-무료 강화 학습은 POMDP의 기본 기준선으로 재고되어야 한다는 제안이 제기된다.