[論文レビュー] Generalization, Mayhems and Limits in Recurrent Proximal Policy Optimization

Marco Pleines, Matthias Pallasch+2 more|arXiv (Cornell University)|May 23, 2022

Adversarial Robustness in Machine Learning被引用数 10

ひとこと要約

この論文は、部分的に観察可能な環境における再帰的PPO（Proximal Policy Optimization）を正しく実装するための詳細なガイドを提供する。特に、適切なデータ処理、隠れ状態の管理、損失マスクの重要性に焦点を当てる。新たに開発された2つの環境、Mortar MayhemとSearing Spotlightsを導入し、記憶容量の限界や注意の散漫さをテストする。Mortar Mayhemでは、訓練に使用するシード数を増やすことで強い汎化性能を示すが、Searing Spotlightsでは失敗し、再帰的PPOの本質的な限界が浮き彫りになる。

ABSTRACT

At first sight it may seem straightforward to use recurrent layers in Deep Reinforcement Learning algorithms to enable agents to make use of memory in the setting of partially observable environments. Starting from widely used Proximal Policy Optimization (PPO), we highlight vital details that one must get right when adding recurrence to achieve a correct and efficient implementation, namely: properly shaping the neural net's forward pass, arranging the training data, correspondingly selecting hidden states for sequence beginnings and masking paddings for loss computation. We further explore the limitations of recurrent PPO by benchmarking the contributed novel environments Mortar Mayhem and Searing Spotlights that challenge the agent's memory beyond solely capacity and distraction tasks. Remarkably, we can demonstrate a transition to strong generalization in Mortar Mayhem when scaling the number of training seeds, while the agent does not succeed on Searing Spotlights, which seems to be a tough challenge for memory-based agents.

研究の動機と目的

• 部分的に観察可能な環境に再帰性を統合する際の、重要だが十分に文書化されていない技術的課題を解決すること。
• 視覚的観測と離散的行動空間を想定した、再帰的PPOの完全に文書化され、プロダクション運用可能な実装（切り捨てられたバックプロパゲーション・スルータイム：TBPTTを用いて）を提供すること。
• 記憶容量の限界や注意の散漫さをテストする新しい環境、Mortar MayhemとSearing Spotlightsを導入し、記憶に基づくエージェントのより深い評価を可能にすること。
• 特に変動的でノイズの多い条件下で、再帰的PPOが長時間記憶タスクを処理できる限界を調査すること。
• 隠れ状態の陳腐化とアドバンテージ正規化が、オンポリシー強化学習における訓練の安定性とパフォーマンスに与える影響を検討すること。

提案手法

• 長時間のシーケンスを扱う再帰的PPOを効率的に訓練するため、切り捨てられたバックプロパゲーション・スルータイム（TBPTT）を採用し、長い時間的文脈にわたり勾配が伝搬できるようにする。
• シーケンス処理における順方向伝搬を、適切な隠れ状態の初期化と時間ステップ間での再帰的処理を含むように構造化する。
• 損失計算時にパディングを伴うシーケンスに対してマスク処理を適用し、パディングされた時間ステップに対する勾配更新を防ぐことで、訓練の安定性を確保する。
• 一貫した初期化戦略を用いて、シーケンスの開始時に隠れ状態をサンプリングし、勾配消失やデータ漏洩れを回避する。
• エージェントが長期間にわたり記憶を維持・更新する必要があるような、独自の環境（Mortar MayhemとSearing Spotlights）を設計し、記憶保持と動的記憶更新の両方を要件とするタスクを実装する。
• 5つのランダムシードを実験毎に、評価毎に10個の新しいシードを用いたベースライン訓練パイプラインを実装し、堅牢な汎化性能の分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 視覚的入力と離散的行動を伴う再帰的PPOに再帰性を正しくかつ効率的に統合するための、重要な実装上の詳細は何か？
• RQ2 Mortar Mayhemのような記憶集約型環境において、訓練に使用するシード数を増やすと、汎化性能にどのような影響が生じるか？
• RQ3 多様なシードで学習したエージェントが、未観測の新しい環境にどれほど汎化できるか、特に既存のベンチマーク（例：バレエ環境）と比較してどうか？
• RQ4 Searing Spotlights環境のような高分散性タスクに直面した際、再帰的PPOに内在する限界は何か？
• RQ5 陳腐化した隠れ状態やアドバンテージを更新することで、オンポリシー設定下での訓練の安定性やパフォーマンスが向上するか？

主な発見

• Mortar Mayhemでは、訓練に使用するシード数を増やすことで強い汎化性能が得られ、多様な経験がゼロショットでの汎化を向上させることを示している。
• Searing Spotlightsでさえも、簡略化されたバージョンでもエージェントはタスクを達成できない。これは、ランダムに動くスポットライトが、標準的な再帰的PPOにとって処理不能なノイズ環境を形成している可能性を示唆している。
• 陳腐化した隠れ状態やアドバンテージの更新は、パフォーマンスの向上をもたらさなかった。これは、テストされた設定ではこの計算コストの増加に恩恵がないことを示している。
• 適切なマスク処理、シーケンス処理、TBPTTを備えたベースライン実装は、安定した訓練と正しく動作するエージェントを達成しており、エンジニアリングパイプラインの妥当性を裏付けている。
• バレエ環境では、訓練用シードでは高いパフォーマンスを示すが、新しいシードではそれ以下の性能を示しており、これは弱い汎化性能を示しており、Mortar Mayhemとは対照的である。
• 結果から、高分散環境では再帰的PPOの限界を克服するには、トランスフォーマーに基づくエピソード記憶（例：階層的チャンクアテンションメモリ）が必要になる可能性がある。