[논문 리뷰] Reducing Variance in Temporal-Difference Value Estimation via Ensemble of Deep Networks

Litian Liang, Yaosheng Xu외 5명|arXiv (Cornell University)|2022. 09. 16.

Mental Health Research Topics인용 수 4

한 줄 요약

MeanQ는 다섯 개인 독립적인 딥 Q네트워크의 예측 평균을 통해 시간차 값 추정의 분산을 줄이는 단순한 앙상블 딥 강화학습 방법을 제안한다. 앙상블 평균을 통해 MeanQ는 SUNRISE와 Rainbow DQN 같은 베이스라인을 능가하는 최신 기술 수준의 샘플 효율성을 달성하며, Atari 벤치마크에서 단지 200만 개의 상호작용 스텝만으로 평균 인간 수준 성능을 달성한다.

ABSTRACT

In temporal-difference reinforcement learning algorithms, variance in value estimation can cause instability and overestimation of the maximal target value. Many algorithms have been proposed to reduce overestimation, including several recent ensemble methods, however none have shown success in sample-efficient learning through addressing estimation variance as the root cause of overestimation. In this paper, we propose MeanQ, a simple ensemble method that estimates target values as ensemble means. Despite its simplicity, MeanQ shows remarkable sample efficiency in experiments on the Atari Learning Environment benchmark. Importantly, we find that an ensemble of size 5 sufficiently reduces estimation variance to obviate the lagging target network, eliminating it as a source of bias and further gaining sample efficiency. We justify intuitively and empirically the design choices in MeanQ, including the necessity of independent experience sampling. On a set of 26 benchmark Atari environments, MeanQ outperforms all tested baselines, including the best available baseline, SUNRISE, at 100K interaction steps in 16/26 environments, and by 68% on average. MeanQ also outperforms Rainbow DQN at 500K steps in 21/26 environments, and by 49% on average, and achieves average human-level performance using 200K ($\pm$100K) interaction steps. Our implementation is available at https://github.com/indylab/MeanQ.

연구 동기 및 목표

• 값 함수 추정의 높은 분산으로 인해 발생하는 딥 Q학습의 불안정성과 과대평가 문제를 해결한다.
• 앙상블 평균이 충분히 분산을 줄여 타겟 네트워크가 필요 없도록 만들 수 있는지 조사한다. 이는 알려진 편향의 원인이 되는 요소이다.
• 앙상블 평균을 통한 분산 감소가 기존 방법보다 뛰어난 샘플 효율성과 성능을 이끌어내는지 보여준다.
• 공유된 탐색, 공유된 리PLAY 버퍼, 독립적인 리PLAY 샘플링과 같은 핵심 설계 선택 사항이 효과적인 앙상블 학습을 가능하게 하는 역할을 하는지 명확히 한다.
• 모델 크기나 업데이트 빈도 증가와 같은 대안적 설명을 제거하기 위해 분석 실험을 수행한다.

제안 방법

• 다섯 개의 독립적인 딥 Q네트워크 앙상블을 사용하여 상태-행동 값 추정을 수행하며, 타겟 값은 앙상블 예측의 평균으로 계산한다.
• 경험 수집 중 일관된 행동을 보장하기 위해 앙상블 평균에서 유도된 공유 탐색 정책을 적용한다.
• 모든 앙상블 구성원이 동일한 공유 리PLAY 버퍼를 사용하여 데이터 효율성과 경험의 다양성을 향상시킨다.
• 리PLAY 버퍼에서 독립적인 경험 샘플링을 구현하여 앙상블의 다양성을 유지하고 공진화를 방지한다.
• 모든 앙상블 구성원을 동시에 확률적 경사 하강법을 사용하여 경험 리PLAY를 통해 훈련하며, 부트스트랩 타겟에 대한 TD 오차를 최소화한다.
• 지연 타겟 네트워크를 제거하여 앙상블 평균에 의존함으로써 학습 안정성과 분산 감소를 달성한다.

실험 결과

연구 질문

• RQ1 딥 Q네트워크의 앙상블 평균이 타겟 네트워크가 필요 없도록 충분히 값 추정 분산을 줄일 수 있는가?
• RQ2 독립적인 리PLAY 샘플링은 앙상블 기반 값 추정의 성능과 안정성에 어떤 영향을 미치는가?
• RQ3 MeanQ의 성능 향상 요인이 모델 용량 증가나 더 빈번한 업데이트 때문이 아니라 분산 감소 때문인가?
• RQ4 샘플 효율성과 최종 성능 측면에서 MeanQ는 SUNRISE와 Rainbow DQN과 같은 최신 기술 수준의 베이스라인과 어떻게 비교되는가?
• RQ5 공유된 탐색과 공유된 리PLAY는 앙상블 방법의 효과성에 어떤 영향을 미치는가?

주요 결과

• MeanQ는 26개의 Atari 환경 중 16개에서 100만 개의 상호작용 스텝에서 SUNRISE를 능가하며, 정규화된 수익에서 평균 68% 향상된 성능을 달성한다.
• 500만 스텝에서 MeanQ는 26개 환경 중 21개에서 Rainbow DQN을 초월하며, 평균 정규화된 수익이 49% 높다.
• MeanQ는 26개의 Atari 환경 전반에서 평균 인간 수준 성능을 200만 ± 100만 개의 상호작용 스텝 내로 달성한다.
• 크기가 5인 앙상블은 값 추정 분산을 충분히 줄여 타겟 네트워크가 필요 없도록 하며, 이는 샘플 효율성 향상에 기여한다.
• 분석 실험 결과, MeanQ의 성능 향상 요인이 모델 크기나 업데이트 빈도 때문이 아니라 앙상블 평균을 통한 분산 감소 때문임을 입증한다.
• 독립적인 리PLAY 샘플링은 필수적이다. 이를 생략할 경우 앙상블 다양성이 떨어지고 성능이 크게 하락함으로써, 효과적인 분산 감소를 위해 필수적임을 입증한다.