[論文レビュー] Mask Atari for Deep Reinforcement Learning as POMDP Benchmarks

Yang Shao, Quan Kong+4 more|arXiv (Cornell University)|Mar 31, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

Mask Atariは、アタリ2600ゲームをベースにした新しいDRLベンチマークであり、視野制限を模擬し、部分的に観測可能なマルコフ意思決定過程（POMDP）におけるアクティブ情報収集（AIG）を可能にする、制御可能で移動可能なマスクを導入している。このベンチマークは人間の受容場を模倣することで認知的パフォーマンスを分離し、実験の結果、情報収集のための補助報酬は学習を加速させるが、最適でない方策を生じさせる可能性があることが示された。

ABSTRACT

We present Mask Atari, a new benchmark to help solve partially observable Markov decision process (POMDP) problems with Deep Reinforcement Learning (DRL)-based approaches. To achieve a simulation environment for the POMDP problems, Mask Atari is constructed based on Atari 2600 games with controllable, moveable, and learnable masks as the observation area for the target agent, especially with the active information gathering (AIG) setting in POMDPs. Given that one does not yet exist, Mask Atari provides a challenging, efficient benchmark for evaluating the methods that focus on the above problem. Moreover, the mask operation is a trial for introducing the receptive field in the human vision system into a simulation environment for an agent, which means the evaluations are not biased from the sensing ability and purely focus on the cognitive performance of the methods when compared with the human baseline. We describe the challenges and features of our benchmark and evaluate several baselines with Mask Atari.

研究の動機と目的

• 複雑な環境におけるアクティブ情報収集（AIG）に焦点を当てた、能動的で視覚豊富なPOMDPベンチマークの不足を解消すること。
• エージェントの観測窓として、移動可能で学習可能なマスクを導入することで、人間の受容場を模倣した強化学習の実装を可能にすること。
• センシングの制限から認知的パフォーマンスを分離するベンチマークを提供し、人間のベースラインと公平に比較可能にすること。
• 部分的に観測可能で高次元の視覚環境におけるDRLモデルとヒューリスティックなAIG戦略の有効性を評価すること。
• マスクのパラメータ（サイズ、速度、数）のアブレーションスタディを可能にし、それらが学習パフォーマンスに与える影響を理解すること。

提案手法

• アタリ2600ゲームを変更し、エージェントの視野を定義する制御可能なマスクを導入することで、Mask Atariを構築した。
• 追加のアクション空間を介してマスクの動的移動を可能にし、エージェントが環境を能動的に探索できるようにした。
• サイズ、速度、位置をカスタマイズ可能な複数のマスクをサポートするマスクインターフェースを設計した。
• 情報収集行動を促進するための補助報酬関数を導入：画像の新規性に基づくものと、マスクカバレッジの拡大に基づくもの。
• 標準的なDRLアルゴリズム（例：A2C-CNN）を用いてエージェントを訓練し、複数のゲームでパフォーマンスを評価した。
• マスクのスケール、速度、数に対するアブレーションスタディを実施し、それらが学習と最終スコアに与える影響を分析した。

実験結果

リサーチクエスチョン

• RQ1 マスクのサイズが視覚豊富なPOMDP環境における学習パフォーマンスと最終スコアに与える影響は何か？
• RQ2 マスクの移動速度がAIGタスクの難易度とエージェントパフォーマンスに与える影響は何か？
• RQ3 マスクの数を増やすと、情報へのアクセスとアクションスペースの複雑さのトレードオフにどのような影響があるか？
• RQ4 情報収集行動に基づく補助報酬は、Mask AtariにおけるDRLエージェントの学習を加速させるか？
• RQ5 AIG設定の内部構造は、最終方策の質を損なわせることなく、学習をどれほど速くすることができるか？

主な発見

• マスクサイズを50から100ピクセルに増加させると、大多数のゲームでパフォーマンスが向上し、MsPacmanでは平均スコアが顕著に20%増加した。
• マスクの移動速度を遅く（10ピクセル/フレーム）するとゲームがより難易度が高くなる傾向にあったが、マスクサイズの変更に比べて影響は小さかった。
• マスク速度を10から50ピクセル/フレームに増加させても、パフォーマンスへの影響はマスクサイズの変更ほど顕著ではなく、速度は視野の広がりに比べて重要性が低いことが示唆された。
• 2つのマスクを使用した場合、半数のゲームでスコアが向上した一方で、残りの半数ではスコアが悪化したため、視界の拡大とアクションスペースの複雑さのトレードオフが生じていることが示された。
• 新しい情報を求めるための補助報酬は、Asterix、Breakout、MsPacmanで学習を加速させたが、最終的な方策は最適でない結果となった。
• 視野を拡大するための補助報酬も同様に学習を加速させたが、最終的なパフォーマンスは最適でないことが示された。これは、AIGに基づく報酬が訓練を速くするが、最終方策の質を犠牲にしている可能性を示している。