[論文レビュー] Beyond Exponentially Discounted Sum: Automatic Learning of Return Function

Yufei Wang, Qiwei Ye+1 more|arXiv (Cornell University)|May 28, 2019

Reinforcement Learning in Robotics参考文献 36被引用数 4

ひとこと要約

本論文は、標準的な指数的割引和を越えて、強化学習における最適なリターン関数を自動で発見するメタラーニング手法を提案する。報酬の履歴を用いて、トランスフォーマーに基づく係数予測器を用いてリターンを学習可能な線形結合としてモデル化することで、迷路やアーケードゲームなどのスパース報酬環境における学習を加速する。実験結果では、報酬の遅延が大きな影響を及える状況で顕著な性能向上が得られた。

ABSTRACT

In reinforcement learning, Return, which is the weighted accumulated future rewards, and Value, which is the expected return, serve as the objective that guides the learning of the policy. In classic RL, return is defined as the exponentially discounted sum of future rewards. One key insight is that there could be many feasible ways to define the form of the return function (and thus the value), from which the same optimal policy can be derived, yet these different forms might render dramatically different speeds of learning this policy. In this paper, we research how to modify the form of the return function to enhance the learning towards the optimal policy. We propose to use a general mathematical form for return function, and employ meta-learning to learn the optimal return function in an end-to-end manner. We test our methods on a specially designed maze environment and several Atari games, and our experimental results clearly indicate the advantages of automatically learning optimal return functions in reinforcement learning.

研究の動機と目的

• 報酬関数が固定されているという強化学習の限界、特にスパース報酬状況下での指数的割引による学習の遅さを解消すること。
• 指数的割引法を超えるより効果的なリターン関数の形を学習することで、同じ最適方策を維持したまま方策学習を加速できるかを調査すること。
• メタ勾配最適化を用いて、リターン関数の構造をエンドツーエンドで、微分可能に学習する手法を開発すること。
• 履歴に依存するリターン関数が、報酬の割り当てをより効果的に再配分できることで、挑戦的な強化学習環境における収束速度が向上することを示すこと。

提案手法

• 一般化されたリターン関数の形を提案：$ G^{g}(s_t, a_t) = \sum_{t=0}^{T} \beta_t r_t $、ここで係数 $ \beta_t $ は全履歴から動的に予測される。
• トランスフォーマーに基づくネットワークを用いて係数 $ \beta_t $ を計算し、履歴内の状態と報酬の間の関係的推論を可能にする。
• 下流の方策がより速く学習できるように、リターン関数のパラメータを最適化するためにメタラーニング（具体的にはメタ勾配降下法）を採用する。
• アクター・クリティックフレームワーク（A2C）に学習済みリターン関数を統合し、価値関数がメタ学習されたリターンを予測するように訓練する。
• リターン関数を微分可能モジュールとして扱い、勾配逆伝播をリターン計算経路全体に渡して係数ネットワークを更新可能にする。
• 各環境における最適な設定（学習率と履歴長）を特定するために、ハイパーパramータを探索する。

実験結果

リサーチクエスチョン

• RQ1 指数的割引法よりも報酬の責任割り当てをより効果的に行えるリターン関数が、強化学習における方策学習をより速くできるか？
• RQ2 メタラーニングを用いて、エンドツーエンドで最適なリターン関数の形を自動で学習できるか？
• RQ3 履歴に依存する非指数的リターン関数は、報酬がスパース的または遅延的に与えられる環境で、学習速度にどのように影響を与えるか？
• RQ4 本手法は、迷路やアーケードゲームなど、報酬のスパarsityが異なる環境間で一般化可能か？

主な発見

• 特別に設計された迷路環境では、本手法であるRGMは、vanilla A2Cおよび標準的な指数的割引法よりも著しく高速に学習を達成した。特に初期学習段階で顕著な差が見られた。
• 迷路環境における学習済みリターン関数は、ほぼすべての重みを最終的な遅延報酬に集中させ、初期状態への学習信号のほぼ損失のない逆伝播を可能にした。
• 報酬の遅延があるアーケードゲーム（例：Frostbite、Bowling）では、A2C + RGMがvanilla A2CやLIRPGを大きく上回り、収束速度が著しく向上した。
• 即時の報酬が豊富にあるゲーム（例：Space Invaders、Breakout）に対しても、本手法は競争力のある性能を維持しており、報酬のスパarsityレベルにかかわらず安定性を示した。
• テストした10種類のアーケードゲームのうち7つで、本手法はベースラインA2Cを上回った。特に、元のリターン関数が遅延報酬の責任割り当てに苦労する環境で、最大の向上が得られた。
• 可視化結果から、RGMが正しい経路の最終報酬に高い係数を割り当てているのを確認できた一方で、指数的ベースラインは報酬信号を時間とともに指数的に減衰させていた。