[論文レビュー] A Review for Deep Reinforcement Learning in Atari:Benchmarks, Challenges, and Solutions

Jiajun Fan|arXiv (Cornell University)|Dec 8, 2021

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本論文は、アタリ強化学習ベンチマークにおける現在の評価指標を批判し、人間のベースラインスコアが最高峰の人間のパフォーマンスを低く見積もっていると主張する。本論文は、最終的パフォーマンスと学習効率の両方を評価するため、人間の世界記録（HWR）を用いた新しいベンチマークを提案する。その結果、57のゲームにおいて、最新のSOTAエージェントですらスーパーヒューマン水準に達していないことが明らかになった。

ABSTRACT

The Arcade Learning Environment (ALE) is proposed as an evaluation platform for empirically assessing the generality of agents across dozens of Atari 2600 games. ALE offers various challenging problems and has drawn significant attention from the deep reinforcement learning (RL) community. From Deep Q-Networks (DQN) to Agent57, RL agents seem to achieve superhuman performance in ALE. However, is this the case? In this paper, to explore this problem, we first review the current evaluation metrics in the Atari benchmarks and then reveal that the current evaluation criteria of achieving superhuman performance are inappropriate, which underestimated the human performance relative to what is possible. To handle those problems and promote the development of RL research, we propose a novel Atari benchmark based on human world records (HWR), which puts forward higher requirements for RL agents on both final performance and learning efficiency. Furthermore, we summarize the state-of-the-art (SOTA) methods in Atari benchmarks and provide benchmark results over new evaluation metrics based on human world records. We concluded that at least four open challenges hinder RL agents from achieving superhuman performance from those new benchmark results. Finally, we also discuss some promising ways to handle those problems.

研究の動機と目的

• アタリRLベンチマークにおける人間のパフォーマンスの代理としての人間ベースラインスコアの使用を批判すること。
• 人間の世界記録を低く見積もっているため、現在の評価指標がスーパーヒューマンパフォーマンスを歪めて表現しているという主張をすること。
• 最終的パフォーマンスと学習効率の両方をより高い基準で要求する、人間の世界記録（HWR）に基づく新しいベンチマークを提案すること。
• 新しいHWRベースのベンチマークにおいて、最先端の強化学習アルゴリズムを評価し、継続的な課題を同定すること。
• アタリ環境におけるスーパーヒューマン能力の包括的フレームワークを提供すること。

提案手法

• 本論文は、特に人間正規化スコア（HNS）とその限界に注目して、アタリベンチマークにおける既存の評価指標をレビューする。
• 人間ベースラインよりも代表的でないため、代替として人間の世界記録（HWR）をパフォーマンス基準として用いる、画期的なベンチマークを導入する。
• 著者らはSABER評価システムを拡張し、HWRに基づく新しい指標を導入する。これにはHWRB（HWRベンチマーク）と学習効率スコアが含まれる。
• 学習効率は、逆サンプル複雑性を用いて定量化され、HWRに比べてどれだけ速く高いパフォーマンスに到達できるかを測定する。
• 本手法は、モデルフリー、モデルベース、その他の複数のSOTAアルゴリズムを、新しいHWRベースの指標に基づき57のアタリゲームで評価する。
• 最終的パフォーマンス（HWRB）、中央値パフォーマンス（MED SABER）、学習効率（サンプル効率）を統合した多次元評価フレームワークを導入し、エージェントの能力を評価する。

実験結果

リサーチクエスチョン

• RQ1 人間ベースラインスコアを用いた場合、アタリRLにおけるスーパーヒューマンパフォーマンスのベンチマークは正確か？
• RQ2 最先端のRLエージェントは、最終的パフォーマンスおよび学習効率の両面で、人間の世界記録をどの程度超えているか？
• RQ3 人間ベースラインを上回っているにもかかわらず、なぜ現在のSOTAエージェントはスーパーヒューマンパフォーマンスに到達できないのか？
• RQ4 学習効率はどのように意味的に測定され、強化学習ベンチマークに統合できるか？
• RQ5 アタリ環境において、RLエージェントが真のスーパーヒューマンパフォーマンスに到達できない主な障壁は何か？

主な発見

• 多くの先行ベンチマークで使用されている人間ベースラインは、最高峰の人間パフォーマンスを著しく低く見積もっており、スーパーヒューマンパフォーマンスの誤解を招く結果となっている。
• Agent57 や DQNベースのモデルを含む最新のSOTAエージェントですら、57のアタリゲームの大部分で人間の世界記録を上回れていない。
• 提案されたHWRベースのベンチマーク（HWRB）は、最高パフォーマンスを示したエージェントが達成したゲームが22ゲームにとどまることを明らかにした。これは大きなパフォーマンスギャップを示している。
• 学習効率は依然として主要なボトルネックである。最良のエージェントですら、人間が到達する同等のパフォーマンスに到達するまでに、桁違いに多くのサンプルを必要としている。
• HWRベンチマーク下での中央値パフォーマンス（MED SABER）は、エージェントが人間の世界記録に対して一貫して低く、異なるアルゴリズムクラスでそれぞれ24.86%および50.5%のスコアにとどまっている。
• 本研究は、スーパーヒューマンパフォーマンスを阻害する4つの未解決課題を同定した。すなわち、サンプル効率、ゲーム間での一般化、疎な報酬に対するロバストネス、高次元状態空間における探索である。