[논문 리뷰] Importance of using appropriate baselines for evaluation of data-efficiency in deep reinforcement learning for Atari

Kacper Kielak|arXiv (Cornell University)|2020. 03. 23.

Neural dynamics and brain function인용 수 5

한 줄 요약

이 논문은 Atari에서 딥 강화학습의 향상된 데이터 효율성에 대한 최근 주장이 대부분 공정하지 않은 베이스라인 탓이며, 알고리즘의 우수성 때문이 아니라고 밝힌다. 표준 DQN의 학습 업데이트 빈도를 높임(OTDQN를 통해)으로써 저자들은 최신 기법들과 유사한 성능를 달성했으며, 이는 종종 더 적은 복잡성과 계산 자원을 요구한다. 이에 따라 향후 연구를 위한 공정한 기준으로 수정된 DQN을 제안한다.

ABSTRACT

Reinforcement learning (RL) has seen great advancements in the past few years. Nevertheless, the consensus among the RL community is that currently used methods, despite all their benefits, suffer from extreme data inefficiency, especially in the rich visual domains like Atari. To circumvent this problem, novel approaches were introduced that often claim to be much more efficient than popular variations of the state-of-the-art DQN algorithm. In this paper, however, we demonstrate that the newly proposed techniques simply used unfair baselines in their experiments. Namely, we show that the actual improvement in the efficiency came from allowing the algorithm for more training updates for each data sample, and not from employing the new methods. By allowing DQN to execute network updates more frequently we manage to reach similar or better results than the recently proposed advancement, often at a fraction of complexity and computational costs. Furthermore, based on the outcomes of the study, we argue that the agent similar to the modified DQN that is presented in this paper should be used as a baseline for any future work aimed at improving sample efficiency of deep reinforcement learning.

연구 동기 및 목표

• 최근에 발표된 딥 강화학습 기법들이 데이터 효율성을 향상시켰다는 주장이 진정으로 우월한 성능인지, 아니면 공정하지 않은 베이스라인의 영향을 받은 것인지 조사하기.
• 특히 Atari 게임에서의 샘플 효율성 향상에 기여하는 근본 원인을 규명하기.
• 적절히 튜닝된 표준 DQN이 업데이트 빈도를 높임으로써 최신 기법들과 유사하거나 더 뛰어난 데이터 효율성을 달성할 수 있음을 보여주기.
• 향후 샘플 효율적인 딥 강화학습 연구를 위한 공정하고 단순하며 효과적인 기준으로 수정된 DQN(예: OTDQN)의 사용을 주장하기.
• 비록 환경이 시각적으로 rich한 Atari와 같은 환경에서 데이터 효율성을 달성하기 위해 복잡한 모델 기반 또는 고급 모델리스 기법이 반드시 필요하다는 인식을 도전하기.

제안 방법

• 저자들은 환경 상호작용 대비 업데이트 빈도를 조정함으로써 환경 상호작용당 네트워크 업데이트 수를 늘리는 OTDQN이라는 수정된 DQN 버전을 도입한다.
• 표준 DQN에서 사용하는 고정된 리PLAY 버퍼와 타겟 네트워크를 유지하나, 환경 상호작용 수를 늘리지 않고도 더 자주 학습 업데이트를 수행할 수 있도록 업데이트 스케줄을 수정한다.
• 모든 기법 간의 공정한 비교를 위해 이전 연구들과 동일한 학습 예산(예: 1000만 프레임)을 사용한다.
• 동일한 데이터 제약 조건과 학습 기간에서 OTDQN을 EBU, SimPLe, OTRainbow와 같은 최신 기법들과 비교한다.
• 25개의 Atari 게임에서 평균 점수와 상대적 성능을 측정하여 데이터 효율성을 평가한다.
• 고급 기법에서의 성능 향상은 주로 업데이트 대 상호작용 비율이 높기 때문이며, 아키텍처적 우월성 때문이 아니라고 보여준다.

실험 결과

연구 질문

• RQ1 최근의 Atari용 모델리스 및 모델기반 RL 기법들이 진정으로 데이터 효율성을 향상시키는가, 아니면 더 높은 업데이트 빈도 탓인가?
• RQ2 적절히 업데이트 빈도에 맞게 튜닝된 표준 DQN이 고급 기법들과 유사한 데이터 효율성을 달성할 수 있는가?
• RQ3 왜 많은 최근 RL 논문들이 공정한 기준을 사용하지 않고도 샘플 효율성 향상에 대해 크게 선전하는가?
• RQ4 SimPLe에서와 같이 세계 모델을 사용하는 고급 기법의 복잡성이 실제로 데이터 효율성 향상에 기여하는가?
• RQ5 향후 샘플 효율적인 딥 강화학습 기술 향상 평가를 위한 공정하고 효과적인 기준은 무엇인가?

주요 결과

• 업데이트 빈도를 높인 수정된 DQN인 OTDQN은 표준 DQN가 요구하는 데이터의 5%~10%만으로도 EBU나 SimPLe와 유사하거나 더 뛰어난 성능를 달성한다.
• 최근 연구에서 보고된 성능 향상은 주로 학습 업데이트 대 환경 상호작용 비율이 높기 때문이며, 알고리즘 혁신 때문이 아니다.
• Atlantis나 VideoPinball와 같은 게임에서 OTDQN은 EBU를 크게 앞서며, EBU의 우월성이 높은 업데이트 빈도에서 비롯된다는 것을 입증한다.
• OTDQN은 OTRainbow나 SimPle와 유사하거나 더 좋은 결과를 내며, 계산 비용은 크게 줄였다—OTDQN은 8개의 CPU 코어에서 24시간 이내에 학습을 완료하는 반면, SimPle는 3주 이상 소요된다.
• 적절히 튜닝된 모델리스 DQN은 Atari에서 복잡한 모델기반 접근법과 비교해도 데이터 효율성과 성능 면에서 경쟁력이 있다는 것을 보여준다.
• 저자들은 OTDQN이 단순성, 안정성, 공정성로 인해 향후 샘플 효율적인 딥 강화학습 연구의 표준 기준으로 사용되어야 한다고 결론을 내린다.