[論文レビュー] Learning to Factor Policies and Action-Value Functions: Factored Action Space Representations for Deep Reinforcement learning

Sahil Sharma, Aravind Suresh+2 more|arXiv (Cornell University)|May 20, 2017

Reinforcement Learning in Robotics参考文献 24被引用数 16

ひとこと要約

本稿では、離散的アクション空間を独立した構成的要素（例：左/右、上/下、発砲）に分解する、Factored Action Space Representations (FAR) という深層強化学習フレームワークを提案する。方策と価値関数を要因分解された出力としてモデル化することで、エージェントは1回の実行において複数のアクションを同時に学習するようになり、サンプル効率と方策の頑健性が向上する。FARは、14のアーケードゲームのうち9つでA3Cを、13のアーケードゲームのうち9つでA3CベースのQ学習を上回る性能を発揮した。

ABSTRACT

Deep Reinforcement Learning (DRL) methods have performed well in an increasing numbering of high-dimensional visual decision making domains. Among all such visual decision making problems, those with discrete action spaces often tend to have underlying compositional structure in the said action space. Such action spaces often contain actions such as go left, go up as well as go diagonally up and left (which is a composition of the former two actions). The representations of control policies in such domains have traditionally been modeled without exploiting this inherent compositional structure in the action spaces. We propose a new learning paradigm, Factored Action space Representations (FAR) wherein we decompose a control policy learned using a Deep Reinforcement Learning Algorithm into independent components, analogous to decomposing a vector in terms of some orthogonal basis vectors. This architectural modification of the control policy representation allows the agent to learn about multiple actions simultaneously, while executing only one of them. We demonstrate that FAR yields considerable improvements on top of two DRL algorithms in Atari 2600: FARA3C outperforms A3C (Asynchronous Advantage Actor Critic) in 9 out of 14 tasks and FARAQL outperforms AQL (Asynchronous n-step Q-Learning) in 9 out of 13 tasks.

研究の動機と目的

• 標準的なDRLが構造的特徴を活用しない離散的アクション空間における非効率性を是正すること。
• アクション空間の独立的・直交的成分を用いて方策と価値関数をモデル化すること。
• 1ステップの実行中に複数のアクション要因から同時に学習することで、サンプル効率と方策の頑健性を向上させること。
• FARのA3CおよびAQLに対する優位性を、高次元制御タスクにおいて実証的に検証すること。

提案手法

• 因子化されたニューラルネットワークアーキテクチャを用いて、離散的アクション空間を独立した次元（例：水平方向、垂直方向、発砲）に分解する。
• 方策とアクション価値関数を、各アクション次元ごとの独立した出力ヘッドの積として表現する。
• 共有された状態エンコーダーに加え、各アクション要因ごとに別々の出力ヘッドを設け、成分間での共同学習を可能にする。
• ノイズ注入と頑健性のテストを可能にするために、因子化された出力に温度制御されたソフトマックスを適用する。
• 修正されたネットワークアーキテクチャを用いて、標準的なDRLアルゴリズム（A3C、AQL）でエージェントを学習させ、因子化された学習を可能にする。
• 状態特徴の共有表現を用い、要因固有の出力層を設けて個々のアクション成分をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 アクション空間を独立した成分に分解することで、離散的制御タスクにおけるサンプル効率と学習性能が向上するか？
• RQ2 1回のアクション実行中に複数のアクション要因から学習することは、より頑健な方策をもたらすか？
• RQ3 標準的なエンドツーエンドDRLと比較して、因子化された方策表現は一般化性と頑健性においてどのように異なるか？
• RQ4 アーケードゲームなどのアクション空間の構成的構造は、DRLにおけるアーキテクチャ的要因分解によってどの程度恩恵を受けるか？
• RQ5 提案されたフレームワークは、A3C や AQL などの既存のDRLアルゴリズムと効果的に組み合わせられるか？

主な発見

• FARA3Cは14のアーケードゲームのうち9つでA3Cを上回り、顕著な性能向上を示した。
• FARAQLは13のアーケードゲームのうち9つでAQLを上回り、学習効率の向上を示した。
• FARA3Cの方策は、方策の破損に対してより頑健であり、ランダムなアクション注入（ε = 0.5）下でも性能低下が小さかった。
• FARA3Cエージェントはノイズ注入（温度Zを1.0から3.0に変更）に対しても高い性能を維持し、優れた頑健性を示した。
• 因子化された方策表現により、1回のアクション実行中に複数のアクション（例：上、左、斜め）を同時に学習することが可能になった。
• 学習曲線では、全評価ゲームで一貫した改善が観察され、FARA3CおよびFARAQLはより速い収束と高い漸近的性能を達成した。