[논문 리뷰] Dropout Q-Functions for Doubly Efficient Reinforcement Learning

T. HIRAOKA, Takahisa Imagawa외 3명|arXiv (Cornell University)|2021. 10. 05.

Reinforcement Learning in Robotics참고 문헌 39인용 수 19

한 줄 요약

이 논문은 층 정규화를 사용하는 소규모 드롭아웃 Q-함수 앙상블을 갖는 계산적으로 효율적인 REDQ의 변종인 DroQ를 제안한다. 단순함에도 불구하고 DroQ는 REDQ 수준의 샘플 효율성을 달성하고, REDQ의 두 배 이상 빠른 계산 효율성을 확보하여 샘플 효율성에서는 SAC를 능가하면서도 속도는 SAC와 동일하다.

ABSTRACT

Randomized ensembled double Q-learning (REDQ) (Chen et al., 2021b) has recently achieved state-of-the-art sample efficiency on continuous-action reinforcement learning benchmarks. This superior sample efficiency is made possible by using a large Q-function ensemble. However, REDQ is much less computationally efficient than non-ensemble counterparts such as Soft Actor-Critic (SAC) (Haarnoja et al., 2018a). To make REDQ more computationally efficient, we propose a method of improving computational efficiency called DroQ, which is a variant of REDQ that uses a small ensemble of dropout Q-functions. Our dropout Q-functions are simple Q-functions equipped with dropout connection and layer normalization. Despite its simplicity of implementation, our experimental results indicate that DroQ is doubly (sample and computationally) efficient. It achieved comparable sample efficiency with REDQ, much better computational efficiency than REDQ, and comparable computational efficiency with that of SAC.

연구 동기 및 목표

• 높은 샘플 효율성에도 불구하고 큰 Q-함수 앙상블을 사용하는 REDQ의 계산 비효율성을 해결하기 위해.
• 연속 제어 강화학습에서 샘플 효율성을 희생시키지 않고 계산 효율성을 향상시키기 위해.
• 고 UTD 비율 설정에서 앙상블 방법의 대안으로 드롭아웃이 타당한지 탐색하기 위해.
• 특히 드롭아웃과 층 정규화와 같은 공학적 기법이 고 UTD 비율 RL에서 편향 감소와 샘플 효율성을 향상시키는 방식을 조사하기 위해.
• 최소한의 아키텍처 변경(드롭아웃 + 정규화)이 이중 효율적인 강화학습 방법을 도출할 수 있음을 보여주기 위해.

제안 방법

• 소규모 앙상블(M=2)의 Q-함수에 드롭아웃과 층 정규화를 적용한 REDQ의 변종인 DroQ를 제안한다.
• Q-네트워크의 순전파 과정에서 드롭아웃을 적용하여 확률적 앙상블을 생성함으로써, REDQ에서 사용하는 독립된 네트워크 전체 앙상블을 대체한다.
• Q-네트워크의 각 완전 연결층에 층 정규화를 통합하여 학습 안정성 향상과 일반화 성능 향상을 도모한다.
• 정책과 Q-함수 갱신 모두에서 M=2인 타겟 최소화를 적용하며, 이는 REDQ와 SAC와 유사하다.
• 정책을 학습할 때 두 개의 드롭아웃 Q-함수 중 최소값을 사용하여 Q-값의 정규화된 추정치를 제공한다.
• 기존의 SAC 또는 REDQ 코드베이스에 드롭아웃과 층 정규화 레이어를 추가하기만 하여 방법을 구현함으로써 단순성과 재현 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 소규모 드롭아웃 기반 Q-함수 앙상블이 큰 앙상블을 사용하는 REDQ와 유사한 샘플 효율성을 달성할 수 있는가?
• RQ2 드롭아웃과 층 정규화의 조합이 고 UTD 비율 RL에서 편향 감소와 샘플 효율성을 향상시키는가?
• RQ3 드롭아웃 기반 Q-함수들은 SAC 수준의 계산 효율성을 유지하면서 REDQ를 초월하는 속도를 달성할 수 있는가?
• RQ4 고 UTD RL에서 효과적인 드롭아웃 사용을 위해 필수적인 공학적 기법(예: 정규화, 앙상블 크기)은 무엇인가?
• RQ5 고 UTD 강화학습 환경에서 드롭아웃은 전체 앙상블의 타당한 대안이 될 수 있는가?

주요 결과

• DroQ는 MuJoCo 벤치마크 전반에서 REDQ 수준의 샘플 효율성을 확보하였으며, 평균 수익이 REDQ와 동일하거나 이를 초월한다.
• DroQ는 REDQ 대비 업데이트당 계산 시간을 2배 이상 단축시켜 원래 REDQ보다 훨씬 빠른 속도를 기록한다.
• DroQ는 SAC와 동일한 계산 효율성을 확보하여 업데이트당 벽시계 시간이 유사하지만 샘플 효율성에서는 SAC를 능가한다.
• 제거 실험 결과 드롭아웃과 앙상블 평균화(M=2) 및 층 정규화의 조합이 편향 감소와 성능 향상에 필수적임을 확인하였다.
• 층 정규화는 훈련 안정성과 성능 향상에 크게 기여하였으며, 동일한 설정에서 배치 정규화와 그룹 정규화보다 뛰어난 성능을 보였다.
• 이 방법은 매우 실용적이다: DroQ는 기존의 SAC 또는 REDQ 구현에 드롭아웃과 층 정규화 레이어를 몇 줄의 코드로 추가하기만 하면 구현 가능하다.