[論文レビュー] Deep Transformer Q-Networks for Partially Observable Reinforcement Learning

Kevin Esslinger, Robert Platt+1 more|arXiv (Cornell University)|Jun 2, 2022

Neural Networks and Reservoir Computing被引用数 14

ひとこと要約

本稿では、部分的に観測可能な環境におけるエージェントの履歴をモデル化するために自己注意機構を有するトランスフォーマー・デコーダーを用いる、新たな強化学習アーキテクチャであるDeep Transformer Q-Networks（DTQN）を提案する。中間のQ値を全観測履歴にわたって学習させることで、RNNベースの手法に比べてより高速かつ安定した学習を達成し、複数のPOMDPベンチマークにおいて成功確率と一般化性能で優れている。

ABSTRACT

Real-world reinforcement learning tasks often involve some form of partial observability where the observations only give a partial or noisy view of the true state of the world. Such tasks typically require some form of memory, where the agent has access to multiple past observations, in order to perform well. One popular way to incorporate memory is by using a recurrent neural network to access the agent's history. However, recurrent neural networks in reinforcement learning are often fragile and difficult to train, susceptible to catastrophic forgetting and sometimes fail completely as a result. In this work, we propose Deep Transformer Q-Networks (DTQN), a novel architecture utilizing transformers and self-attention to encode an agent's history. DTQN is designed modularly, and we compare results against several modifications to our base model. Our experiments demonstrate the transformer can solve partially observable tasks faster and more stably than previous recurrent approaches.

研究の動機と目的

• 観測がノイズ混じりまたは不完全なためにエージェントが完全な状態情報を得られない部分的観測問題に対処すること。
• LSTM や GRU などの再帰的ニューラルネットワーク（RNN）が部分的観測領域で一般的に見られる学習の不安定性や脆弱性を克服すること。
• 自然言語処理（NLP）分野で優れた系列モデリングを示すトランスフォーマーが、エージェントの履歴を効果的に符号化し、POMDPで学習を改善できるかを検証すること。
• 既存のRNNベースの手法を上回るモジュラー性、解釈可能性、耐障害性を持つアーキテクチャを設計すること。
• 今後の部分的観測設定におけるトランスフォーマー基盤RL研究のための再利用可能で拡張可能なコードベースを提供すること。

提案手法

• エージェントの観測および行動履歴を処理するために、学習可能な位置エンコーディングを有するトランスフォーマー・デコーダーを採用し、長距離依存性のモデリングを可能にする。
• 推論時に将来の観測情報が漏れることを防ぐために、自己回帰的生成を保証するための因果的マスク（causal masking）を用いる。
• 中間Q値予測と呼ばれる新規な学習戦略を採用し、履歴の全タイムステップで生成されたQ値を学習対象とし、最終ステップのみでなく中間ステップのQ値も学習に活用する。
• ゲート付きスキップ接続とアイデンティティマップの再順序付けを組み合わせることで、学習の安定性と勾配の流れを向上させる。
• 位置エンコーディングを固定（例：正弦波）するのではなく、エンド・トゥ・エンドで学習可能とすることで、環境固有の時間的ダイナミクスに適応可能にする。
• 推論時には最終タイムステップのQ値のみを用いて行動選択を行うが、学習段階では全中間予測を活用することで、より強い監視信号を得る。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー基盤のアーキテクチャは、RNNベースの手法に比べ、部分的観測強化学習タスクの学習で優れた性能を示せるか？
• RQ2 中間Q値予測は、標準的な1ステップ予測に比べ、学習の安定性と最終的な性能を向上させるか？
• RQ3 学習可能な位置エンコーディング、正弦波エンコーディング、またはなしの3つの戦略において、POMDP環境での性能にどのような影響を与えるか？
• RQ4 DTQNにおける自己注意機構は、注意可視化の結果から、意味的に関連のある過去の観測に注目できているか？
• RQ5 DTQNのモジュラー設計は、アーキテクチャ的要素の効果的なアブレーションと比較を可能にしているか？

主な発見

• GridVerse memory 7x7環境において、DTQNは75.2%の成功確率を達成し、ベースラインのRNNアプローチおよびすべてのアブレーション変種を上回った。
• メモリカードドメインでは、DTQNは89.8%の成功確率に達し、中間Q値予測を有しない変種（9.0%の成功確率）を著しく上回った。
• 位置エンコーディングを含まない変種は、メモリカード環境で70.8%の成績にとどまり、学習可能および正弦波エンコーディングの両者に劣っており、位置エンコーディングが性能に不可欠であることが示された。
• 中間Q値予測を有するモデルは平均87.77%の成功確率を達成したのに対し、同様の設定で予測を無効化した場合の成功確率は52.69%にとどまり、学習戦略の重要性が明確に示された。
• GridVerseにおける注意可視化では、緑色のビーコン観測に強い注目が確認され、モデルがタスクに重要な情報を適切に注目していることが裏付けられた。
• DTQNは、HallwayおよびGridVerseを含む全評価環境で競争力あるか、あるいは優れた性能を示し、学習速度と安定性の両面で一貫した改善が見られた。