[論文レビュー] Dynamics Generalization via Information Bottleneck in Deep Reinforcement Learning

Xingyu Lu, Kimin Lee+2 more|arXiv (Cornell University)|Aug 3, 2020

Reinforcement Learning in Robotics参考文献 21被引用数 17

ひとこと要約

本論文は、深層強化学習における一般化を向上させるために、冷却付きの確率的符号化を用いた情報ボトルネック正則化法を提案する。観測と内部表現の間の情報フローを制約することにより、本手法は訓練分布から10標準偏差以上離れたテスト動的環境に対してもエージェントが一般化できることを可能にし、迷路ナビゲーションおよびロボット制御タスクにおいて、ベースラインを著しく上回る性能を発揮する。

ABSTRACT

Despite the significant progress of deep reinforcement learning (RL) in solving sequential decision making problems, RL agents often overfit to training environments and struggle to adapt to new, unseen environments. This prevents robust applications of RL in real world situations, where system dynamics may deviate wildly from the training settings. In this work, our primary contribution is to propose an information theoretic regularization objective and an annealing-based optimization method to achieve better generalization ability in RL agents. We demonstrate the extreme generalization benefits of our approach in different domains ranging from maze navigation to robotic tasks; for the first time, we show that agents can generalize to test parameters more than 10 standard deviations away from the training parameter distribution. This work provides a principled way to improve generalization in RL by gradually removing information that is redundant for task-solving; it opens doors for the systematic study of generalization from training to extremely different testing settings, focusing on the established connections between information theory and machine learning.

研究の動機と目的

• 未知の環境動的特性を伴う深層強化学習において、一般化の欠如という重要な課題に対処すること。
• 状態表現に情報ボトルネックを強制することで、DRLエージェントが訓練環境の観測を記憶することを防ぐこと。
• 符号化器と方策の間で分離原理が成立しない状況においても、符号化器と方策の共同最適化を安定化するための最適化スキームを開発すること。
• エンドツーエンドのRL方策における学習済み表現の解釈可能性と意味的整合性を向上させること。
• 動的変動が生じる現実世界の環境における、安定したシミュレーションから実環境への移行と展開を可能にすること。

提案手法

• 観測と内部表現の間に情報ボトルネックを導入した確率的符号化器を導入し、冗長な情報フローを制限すること。
• 観測と表現の間の相互情報量制約を含む正則化されたRL目的関数を定式化し、ハイパーパrameter β でパrameter化すること。
• β を徐々に増加させるスケジューリングを実装し、情報の段階的圧縮を実現することで、符号化器と方策の共同最適化を安定化すること。
• 変分推論を用いて相互情報量制約を近似し、微分可能な学習を可能にすること。
• SAC や PPO といった標準的なDRLアーキテクチャに本手法を適用し、環境をまたがる汎用性を確保すること。
• テスト時における適応戦略として、符号化器の確率性を低減することで、外れ値の表現を回避すること。

実験結果

リサーチクエスチョン

• RQ1 情報ボトルネック機構は、標準的な正則化手法を上回る一般化を深層強化学習で実現できるか？
• RQ2 冷却を用いた段階的情報圧縮は、分離原理が成立しない非分離型RL設定における符号化器と方策の共同最適化にどのように影響するか？
• RQ3 情報ボトルネックは、訓練分布から10標準偏差以上離れた環境動的特性に対しても、どの程度一般化を可能にするか？
• RQ4 学習済み表現空間は、最適なクライミング価値と整合するような意味的構造を保持しているか？
• RQ5 本手法は、シミュレーションから実環境への移行および現実世界の展開シナリオにおける耐障害性を向上させることができるか？

主な発見

• 提案手法は、β = 8e-3 の条件下で、ベースラインと比較して平均テスト報酬を30%向上させ、顕著な一般化の向上を示した。
• SACを用いて学習した方策は、CartPoleで訓練分布の10倍以上大きなパラメータのテスト環境に対しても一般化でき、ベースラインを完全に上回った。
• 本手法は、最適なクライミング価値と整合する距離を保持する表現を生成し、意味的解釈可能性と計画空間の一貫性を示した。
• 冷却スケジューリングにより、分離原理が成立しない状況でも安定した共同最適化が可能となり、符号化器と方策の依存関係に関する「ニワトリとタマゴの問題」を回避した。
• 迷路ナビゲーションおよびロボット制御タスクにおいて、L2正則化やドロップアウトよりも顕著に一般化性能が向上した。
• 可視化により、符号化器が確率的観測を意味的かつ構造的な潜在空間にマッピングしていることが確認され、方策の耐障害性と解釈可能性が向上した。