[論文レビュー] Importance of using appropriate baselines for evaluation of data-efficiency in deep reinforcement learning for Atari

Kacper Kielak|arXiv (Cornell University)|Mar 23, 2020

Neural dynamics and brain function被引用数 5

ひとこと要約

本論文は、Atari向け深層強化学習における最近のデータ効率性向上に関する主張が、主に不公平なベースラインのおかげであることを示している。標準DQNにOTDQNを用いて更新頻度を高めることで、より複雑さや計算量が少ないにもかかわらず、最先端手法と同等の性能を達成した。本研究では、今後の研究におけるより公平なベースラインとして、この変更を加えたDQNを提案する。

ABSTRACT

Reinforcement learning (RL) has seen great advancements in the past few years. Nevertheless, the consensus among the RL community is that currently used methods, despite all their benefits, suffer from extreme data inefficiency, especially in the rich visual domains like Atari. To circumvent this problem, novel approaches were introduced that often claim to be much more efficient than popular variations of the state-of-the-art DQN algorithm. In this paper, however, we demonstrate that the newly proposed techniques simply used unfair baselines in their experiments. Namely, we show that the actual improvement in the efficiency came from allowing the algorithm for more training updates for each data sample, and not from employing the new methods. By allowing DQN to execute network updates more frequently we manage to reach similar or better results than the recently proposed advancement, often at a fraction of complexity and computational costs. Furthermore, based on the outcomes of the study, we argue that the agent similar to the modified DQN that is presented in this paper should be used as a baseline for any future work aimed at improving sample efficiency of deep reinforcement learning.

研究の動機と目的

• 最近の深層強化学習手法が主張するデータ効率性の向上が、真に優れたものであるのか、それとも不公平なベースラインのおかげであるのかを調査すること。
• 特にAtariゲームにおけるサンプル効率性の面で顕著な性能向上が見られる最先端手法の背後にある根本的要因を特定すること。
• 適切にチューニングされた標準DQNが、特に更新頻度を高めることで、同等またはそれ以上のデータ効率性を達成できることを示すこと。
• 今後の研究におけるサンプル効率性に特化した深層強化学習の評価のため、修正DQN（例：OTDQN）を公平で単純かつ効果的なベースラインとして採用することを提唱すること。
• 視覚的に豊かな環境（例：Atari）において、データ効率性を達成するには、複雑なモデルベースや高度なモデルフリー手法が不可欠であるという認識に疑問を呈すること。

提案手法

• 著者らは、環境ステップレートに対する更新頻度を調整することで、環境との相互作用回数を増やさずにネットワーク更新回数を増やすOTDQNと呼ばれる、DQNの変種を導入した。
• DQNで標準的である固定リプレイバッファとターゲットネットワークを採用したが、環境との相互作用回数を増やさずに学習更新頻度を高める更新スケジュールを変更した。
• 比較の公平性を確保するため、過去の研究と同一の訓練予算（例：1000万フレーム）を用いて評価した。
• OTDQNを、EBU、SimPLe、OTRainbowといった最先端手法と、同一のデータ環境および訓練期間で比較した。
• 25種類のAtariゲームで性能を評価し、平均スコアと相対的性能を測定することで、データ効率性を分析した。
• 高度な手法の性能向上は、主に訓練更新回数と環境相互作用回数の比が高いためであり、アーキテクチャの優位性によるものではないことを示した。

実験結果

リサーチクエスチョン

• RQ1 最近のモデルフリーおよびモデルベースRL手法が、Atariで真にデータ効率性を向上させているのか、それとも更新頻度の高さに起因しているのか。
• RQ2 適切に更新頻度にチューニングされた標準DQNが、高度な手法と同等のデータ効率性を達成できるのか。
• RQ3 なぜ多くの最近のRL論文が、公平なベースラインを使用しないまま、サンプル効率性の顕著な向上を報告しているのか。
• RQ4 SimPLeにおける世界モデルのような高度な手法の複雑さは、実際にデータ効率性の向上に見合っているのか。
• RQ5 今後のサンプル効率性に特化した深層強化学習の改善を評価するための、公平で効果的なベースラインとは何か。

主な発見

• 更新頻度を高めた変更版DQN（OTDQN）は、標準DQNが要請するデータの5%〜10%で、EBU や SimPLe と同等またはそれ以上の性能を達成した。
• 最近の研究で報告された性能向上は、主に訓練更新回数と環境相互作用回数の比の高さに起因しており、アルゴリズム的革新によるものではない。
• Atlantis や VideoPinball のようなゲームでは、OTDQNがEBUを顕著に上回り、EBUの優位性がアーキテクチャの優位性ではなく、更新頻度の高さによるものであることを示した。
• OTDQNは、SimPle や OTRainbow と同等またはそれ以上の結果を得ながら、著しく少ない計算コストで実現した—OTDQNは8コアCPUで24時間以内に訓練を完了したのに対し、SimPleは3週間以上を要した。
• 本研究では、適切にチューニングされたモデルフリーDQNが、複雑なモデルベース手法と同等のデータ効率性と性能を達成できることを示した。
• 著者らは、OTDQNが単純さ、安定性、公平性の観点から、今後のサンプル効率性に特化した深層強化学習研究における標準ベースラインとして採用すべきだと結論づけた。