[論文レビュー] Sequence Modeling of Temporal Credit Assignment for Episodic Reinforcement Learning

Yang Liu, Yunan Luo+4 more|arXiv (Cornell University)|May 31, 2019

Reinforcement Learning in Robotics参考文献 40被引用数 17

ひとこと要約

本論文は、エピソードリーダーニングにおける報酬の遅延やスパarsityを解消するため、Transformerベースのシーケンスモデルを用いてエピソード報酬を密な時間分布信号に分解する、新しい深層強化学習手法を提案する。自己注意機構を介した解釈可能な報酬分解を学習することで、終端報酬しか与えられない環境においても、学習効率とサンプル効率を顕著に向上させる。

ABSTRACT

Recent advances in deep reinforcement learning algorithms have shown great potential and success for solving many challenging real-world problems, including Go game and robotic applications. Usually, these algorithms need a carefully designed reward function to guide training in each time step. However, in real world, it is non-trivial to design such a reward function, and the only signal available is usually obtained at the end of a trajectory, also known as the episodic reward or return. In this work, we introduce a new algorithm for temporal credit assignment, which learns to decompose the episodic return back to each time-step in the trajectory using deep neural networks. With this learned reward signal, the learning efficiency can be substantially improved for episodic reinforcement learning. In particular, we find that expressive language models such as the Transformer can be adopted for learning the importance and the dependency of states in the trajectory, therefore providing high-quality and interpretable learned reward signals. We have performed extensive experiments on a set of MuJoCo continuous locomotive control tasks with only episodic returns and demonstrated the effectiveness of our algorithm.

研究の動機と目的

• エピソード強化学習において、報酬が遅れて到着するか、スパースな場合に生じる課題に対処すること。
• 報酬信号がスパースな環境における学習効率とサンプル複雑性を向上させること。
• 深層シーケンスモデルを用いた一般化可能な時間的信用配分フレームワークの開発。
• Transformerにおける自己注意メカニズムを活用し、解釈可能な報酬分解を実現すること。
• 因果関係を損なわず、正しくスケーラブルな方策勾配更新を提供すること。

提案手法

• 全履歴を考慮した状態に基づき、各時刻における密な報酬信号を予測するTransformerベースのニューラルネットワークを訓練する。
• マルチヘッド自己注意と因果的（自己回帰的）マスクを用いて、長距離依存関係をモデル化することで、過去の状態や行動に対する信用配分を学習する。
• 報酬分解を用いて、バイアスのない方策勾配の一般化を計算する。
• 報酬回帰の不完全性を補正するためのバイアス補正項を方策勾配に適用し、学習安定性を向上させる。
• 後向き経験再生と、高品質な履歴軌道を用いて報酬関数の学習を改善する。
• 学習済みの密報酬を用いて、標準的なRLアルゴリズムを適用し、終端報酬しか与えられないMuJoCo連続制御タスクで手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 LSTM やフィードフォワードネットワークと比較して、Transformerのような深層シーケンスモデルが、各時刻に意味のある密な報酬信号にエピソードリターンを効果的に分解できるか。
• RQ2 報酬分解に自己注意機構を用いることで、解釈性と信用配分の正確性が向上するか。
• RQ3 報酬がスパースな条件下で、標準的なRLベースラインと比較して、提案手法の学習速度とサンプル効率はどの程度向上するか。
• RQ4 異なるネットワークアーキテクチャとデータ収集戦略が、報酬分解モデルの性能にどのような影響を与えるか。
• RQ5 報酬回帰が不完全な場合に、方策最適化の安定性を確保するためにバイアス補正が必要か。

主な発見

• MuJoCoタスクにおいて、LSTM やフィードフォワードネットワークと比較して、Transformerベースの報酬分解が学習効率と最終的パフォーマンスで優れた結果を達成した。
• データ収集中に高品質な履歴軌道（HO戦略）を用いることで、報酬学習性能が最も向上した。
• バイアス補正は、報酬回帰がうまくいかない場合でも、方策勾配更新のロバスト性を顕著に向上させた。
• Transformerの自己注意重みは、最終リターンに最も寄与した状態・行動ペアを解釈可能な形で明らかにした。
• 終端報酬しか与えられない複数のMuJoCo歩行環境において、本手法はサンプル効率と最終リターンの両面で顕著な改善を達成した。
• 分解された報酬を用いた一般化方策勾配は理論的に正しく、スパースな監視のもとでも安定した学習を可能にした。