[論文レビュー] Information asymmetry in KL-regularized RL

Alexandre Galashov, Siddhant M. Jayakumar+8 more|arXiv (Cornell University)|May 3, 2019

Neural Networks and Applications被引用数 24

ひとこと要約

本論文では、KL正則化付き強化学習におけるデフォルト方策の学習を提案する。情報非対称性を強制することで、学習の高速化と安定化を実現する。デフォルト方策はエージェント方策よりも少ない状態情報しか見ないため、再利用可能でタスクに依存しない行動を学習するよう強制される。実験的結果は、連続的制御および離散的視覚ナビゲーションタスクの両方で、特に報酬がスパarsな設定において顕著な学習速度向上を示し、デフォルト方策が最小限の情報集合に制約された場合に最良の性能を発揮する。

ABSTRACT

Many real world tasks exhibit rich structure that is repeated across different parts of the state space or in time. In this work we study the possibility of leveraging such repeated structure to speed up and regularize learning. We start from the KL regularized expected reward objective which introduces an additional component, a default policy. Instead of relying on a fixed default policy, we learn it from data. But crucially, we restrict the amount of information the default policy receives, forcing it to learn reusable behaviors that help the policy learn faster. We formalize this strategy and discuss connections to information bottleneck approaches and to the variational EM algorithm. We present empirical results in both discrete and continuous action domains and demonstrate that, for certain tasks, learning a default policy alongside the policy can significantly speed up and improve learning.

研究の動機と目的

• 繰り返し発生する構造的行動をタスク間で活用することで、強化学習におけるサンプル効率性と一般化性能を向上させること。
• 探索が困難な環境におけるサンプル効率性の向上。
• 固定されたデフォルト方策ではなく、学習によって得られるデフォルト方策が性能と一般化性能を向上させるかを検証すること。
• エージェント方策が行動パターンを共有するよう促すために、制限された情報アクセスを持つデフォルト方策を学習する方法を形式化すること。
• エージェント方策とデフォルト方策の間の情報非対称性が、より高速かつより頑健な学習をもたらすことを示すこと。

提案手法

• エージェント方策を固定事前分布ではなく、学習されたデフォルト方策に正則化するKL正則化付き強化学習の目的関数を形式化する。
• デフォルト方策の特定の状態成分へのアクセスを制限することで、情報非対称性を導入し、エージェントの行動を複製するのを防ぐ。
• デフォルト方策が状態履歴の一部にのみ条件付けられるように、エージェント方策とデフォルト方策を共同で最適化する目的関数により同時に学習する。
• 異なるアーキテクチャを用いてデフォルト方策をテストする：フィードフォワード（現在の状態と直前の行動のみ）、LSTM（直前の行動のみ）、ベクトル（状態および行動に依存しない）。一般化能力を評価する。
• 本手法を連続的制御（例：複雑なウォーカー）および離散的視覚ナビゲーション（例：DMLab）環境に適用する。
• エントロピーと行動確率のマージナル分布の分析を用いて、学習されたデフォルト方策の解釈を行い、探索におけるその役割を評価する。

実験結果

リサーチクエスチョン

• RQ1 固定事前分布ではなく、学習されたデフォルト方策を用いることで、強化学習におけるサンプル効率性が向上するか？
• RQ2 エージェントとデフォルト方策の間の情報非対称性を強制することで、一般化性能と学習速度が向上するか？
• RQ3 制限されたデフォルト方策がどのような行動を学習し、複雑な環境における探索をどのように支援するか？
• RQ4 本手法の性能は、一様なデフォルト方策を用いる標準的なエントロピー正則化付き強化学習と比較してどうなるか？
• RQ5 学習されたデフォルト方策は、異なるタスク間で再利用可能で、学習を高速化できるか？

主な発見

• 複雑なウォーカーを用いた報酬がスパarsな連続的制御タスクにおいて、情報非対称性を持つデフォルト方策を学習することで、一様なデフォルト方策を用いるベースラインと比較して顕著な学習速度向上が達成された。
• 状態および行動に依存しないベクトル型デフォルト方策は、前進バイアス（70％前進、10％後退）の行動分布を学習し、DMLabにおける探索を向上させた。
• 直前の行動のみを観測するLSTM型デフォルト方策は、一貫した移動パターン（例：前進を継続）を学習し、壁沿い走行などのナビゲーション戦略を支援した。
• デフォルト方策のエントロピーは学習を経て低下し、一様なベースラインとは対照的に鋭くピークを持つ分布に発展した。これは、構造的学習が効果的に行われたことを示している。
• 報酬が密集しているか単純なタスクでは、向上効果は限定的であった。これは、本手法が、構造的探索を要する複雑で報酬がスパarsな環境において最も効果的であることを示唆している。
• 人為的に設計された行動空間を必要とせず、意味のある行動空間バイアス（例：前進バイアス）を発見可能となった。これにより、熟練知識への依存が軽減された。