[論文レビュー] Continual State Representation Learning for Reinforcement Learning using Generative Replay

Hugo Caselles-Dupré, M. Ortíz+1 more|arXiv (Cornell University)|Oct 9, 2018

Reinforcement Learning in Robotics参考文献 17被引用数 19

ひとこと要約

本論文は、変分オートエンコーダー（VAEs）と生成的リプレイを用いて、継続的状態表現学習のための強化学習手法を提案する。VAEの再構成誤差に対するウェルチのt検定を用いて環境変化を自動検出し、過去の経験サンプルを生成することで、災難的忘却を防ぎ、システムサイズを制限した状態を維持する。本手法は、微調整と生入力ベースラインを上回る強化学習性能を達成し、前向きの転送を実現する。

ABSTRACT

We consider the problem of building a state representation model in a continual fashion. As the environment changes, the aim is to efficiently compress the sensory state's information without losing past knowledge. The learned features are then fed to a Reinforcement Learning algorithm to learn a policy. We propose to use Variational Auto-Encoders for state representation, and Generative Replay, i.e. the use of generated samples, to maintain past knowledge. We also provide a general and statistically sound method for automatic environment change detection. Our method provides efficient state representation as well as forward transfer, and avoids catastrophic forgetting. The resulting model is capable of incrementally learning information without using past data and with a bounded system size.

研究の動機と目的

• 進化する環境において、安定した状態表現を維持することで、継続的強化学習における災難的忘却を解消すること。
• 過去の経験データにアクセスできない状況下でも、自律的かつデータ効率の良い学習を可能にすること。
• 継続的学習中に環境変化を検出する統計的に妥当な自動手法を開発すること。
• 学習された状態表現が、強化学習における効率的かつ転送可能なポリシー学習を支援するかを評価すること。
• VAEに生成的リプレイを組み合わせることで、分布シフトに強く、前向きの転送を示すことを実証すること。

提案手法

• センサ入力から圧縮され、分離可能な状態表現を学習するため、変分オートエンコーダー（VAEs）を用いる。
• 過去の環境のVAEの潜在空間からサンプリングすることで生成的リプレイを実装し、新しい経験に補足することで忘却を防ぐ。
• VAEの再構成誤差分布に対するウェルチのt検定を用いて、環境変化を自動検出し、任意のしきい値を回避する。
• 実際の新規データと生成された過去データの結合分布上でVAEを学習することで、システムサイズを制限する。
• 帰無仮説（再構成誤差の平均が等しい）をもとに、p値しきい値0.01を用いた統計的仮説検定を実施し、分布シフトを検出する。
• PPOを用いた強化学習訓練により、異なる学習環境下で学習されたVAEからの表現を評価する。

実験結果

リサーチクエスチョン

• RQ1 VAEを用いた生成的リプレイは、継続的状態表現学習における災難的忘却を効果的に防止できるか？
• RQ2 提案手法による自動環境変化検出は、事前の知識なしに分布シフトを信頼性高く同定できるか？
• RQ3 学習された状態表現は、強化学習における効率的かつ高性能なポリシー学習を可能にするか？
• RQ4 以前の環境で学習した知識が、後のタスクでのパフォーマンス向上に寄与する前向きの転送が実現できるか？
• RQ5 再構成忠実度と強化学習のサンプル効率という観点から、本手法は微調整と生入力ベースラインを上回っているか？

主な発見

• 再構成誤差に対するウェルチのt検定を用いた本手法は、変化が存在する場合に100%の検出率、変化が存在しない場合に99.5%の検出率を達成した。
• 生成的リプレイにより、環境1の再構成における平均二乗誤差（MSE）は1.3×10⁻³から3.3×10⁻⁴に低下し、忘却の効果的抑制が示された。
• 環境2では、両手法とも類似したMSE（6.4×10⁻⁴ vs. 9.3×10⁻⁴）を達成しており、現在のタスク性能に劣化がないことが確認された。
• PPO訓練において、生成的リプレイを用いたVAE表現は、微調整および生入力よりも顕著に高い最終平均報酬を達成した。特に2番目の環境で顕著な優位性を示した。
• 本手法は前向きの転送を示した：最初の環境の特徴から学習されたポリシーは、2番目の環境でも良好な性能を発揮した。これは有用な一般化を示している。
• VAEに生成的リプレイを組み合わせた手法は、すべてのベースラインを上回るサンプル効率と最終パフォーマンスを達成し、継続的強化学習における有効性を確認した。