[論文レビュー] ViZDoom: DRQN with Prioritized Experience Replay, Double-Q Learning, & Snapshot Ensembling

Christopher J. Schulze, Marcus Schulze|arXiv (Cornell University)|Jan 3, 2018

Reinforcement Learning in Robotics被引用数 7

ひとこと要約

この論文は、ViZDoomの第一人称シューティング環境における深層再帰的Qネットワーク（DRQN）において、二重Q学習（DDQ）と優先順位付き経験再生（PER）を評価し、コサイン冷却を用いたスナップショットアンサンブルで性能を向上させている。結果として、DDQおよびPERの両方が学習の安定性と初期段階のパフォーマンスを顕著に向上させた。さらに、スナップショットアンサンブルにより平均K/Dが1標準偏差以上向上した。

ABSTRACT

ViZDoom is a robust, first-person shooter reinforcement learning environment, characterized by a significant degree of latent state information. In this paper, double-Q learning and prioritized experience replay methods are tested under a certain ViZDoom combat scenario using a competitive deep recurrent Q-network (DRQN) architecture. In addition, an ensembling technique known as snapshot ensembling is employed using a specific annealed learning rate to observe differences in ensembling efficacy under these two methods. Annealed learning rates are important in general to the training of deep neural network models, as they shake up the status-quo and counter a model's tending towards local optima. While both variants show performance exceeding those of built-in AI agents of the game, the known stabilizing effects of double-Q learning are illustrated, and priority experience replay is again validated in its usefulness by showing immediate results early on in agent development, with the caveat that value overestimation is accelerated in this case. In addition, some unique behaviors are observed to develop for priority experience replay (PER) and double-Q (DDQ) variants, and snapshot ensembling of both PER and DDQ proves a valuable method for improving performance of the ViZDoom Marine.

研究の動機と目的

• ViZDoom強化学習環境における二重Q学習（DDQ）と優先順位付き経験再生（PER）の有効性を評価すること。
• DDQおよびPERと組み合わせた際、学習率を冷却したスナップショットアンサンブルが性能に与える影響を調査すること。
• 異なる学習手法におけるエージェント戦略の行動的差異（弾薬の節約、側面からの攻撃への対応など）を分析すること。
• PERにおける価値過大評価の影響が、学習ダイナミクスおよびアンサンブル効果に与える影響を評価すること。
• 高遅延かつ部分観測可能な環境である条件下で、DRQNのパフォーマンスのベンチマークを確立すること（DDQやPERなどの高度なDRL技術を用いる・使わないを含む）

提案手法

• ViZDoomの第一人称戦闘シナリオにおける逐次的観測を処理するため、Lampleらの研究を参考にした深層再帰的Qネットワーク（DRQN）アーキテクチャを採用する。
• ターゲット価値推定に別個のネットワークを用いることで、行動価値の過大評価を低減する二重Q学習（DDQ）を適用する。
• 高い時系列差分誤差を持つ遷移に学習を集中させることで、サンプル効率を向上させるために優先順位付き経験再生（PER）を実装する。
• スナップショットアンサンブルのため、学習率をコサイン冷却することで、異なる訓練エポックで保存された多様なモデルを生成する。
• 重み減衰と学習率スケジューリングを用いて単一のDRQNモデルを訓練し、複数の保存済みスナップショットからの予測を組み合わせることでスナップショットアンサンブルを適用する。
• 『センターを守れ』というViZDoomシナリオでエージェントを訓練し、平均K/D比、標準偏差、敵識別損失を指標にパフォーマンスを測定する。

実験結果

リサーチクエスチョン

• RQ1 二重Q学習と優先順位付き経験再生は、ViZDoom環境における学習の安定性とパフォーマンスにどのように影響を与えるか？
• RQ2 優先順位付き経験再生における価値過大評価が、初期学習およびモデルの一貫性に与える影響は何か？
• RQ3 DDQおよびPERで訓練されたDRQNエージェントにスナップショットアンサンブルを適用した場合、その有効性はどの程度か？
• RQ4 DDQおよびPERエージェントは、弾薬の節約や側面からの攻撃への迅速な反応といった、異なる行動戦略を発展させるか？
• RQ5 高遅延かつ部分観測可能な環境（例：ViZDoom）において、スナップショットアンサンブルはパフォーマンスの低下を緩和できるか？

主な発見

• 二重Q学習（DDQ）を適用したDRQNは、平均K/Dが3.90、標準偏差が0.393を記録し、ベースラインエージェントと比較して高い一貫性と低い分散を示した。
• 優先順位付き経験再生（PER）により、初期学習が促進され、1000ゲーム目までに敵の検出に成功した。また、敵識別交差エントロピー損失の最大値は0.2196まで低下した。
• スナップショットアンサンブルにより、DDQおよびPERエージェントの両方のパフォーマンスが向上し、平均K/Dが1標準偏差以上向上した。特にDDQアンサンブルは平均K/Dが4.37に達した。
• PERやDDQを適用しないベースのDRQNモデルは、平均K/Dが4.65であったが、標準偏差が0.620に達しており、パフォーマンスの不一致と低い安定性を示した。
• DDQエージェントは、発砲を長く抑制することで弾薬を効率的に節約し、ミスショットを減らした。一方、PERエージェントは背後や側面からの攻撃に対してより迅速に反応した。
• スナップショットアンサンブルは、ベースのDRQNモデルに対しては効果を示さなかった。これは、正則化のない訓練における価値過大評価の増大が、類似しないモデルを生成し、アンサンブル平均化の恩恵を受けることができないことを示唆している。