[論文レビュー] Robust Predictable Control

Benjamin Eysenbach, Ruslan Salakhutdinov+1 more|arXiv (Cornell University)|Sep 7, 2021

Advanced Control Systems Optimization参考文献 36被引用数 12

ひとこと要約

この論文では、予測モデリングとビットバックコーディングを活用して、情報使用量を最小化するように、潜在的ワールドモデルとポリシーを共同最適化する強化学習手法であるロバスト予測可能制御（RPC）を提案する。RPCは、同じビットレートで標準的な情報ボトルネック手法と比較して最大5倍の報酬を達成し、モデルの正確さと行動の予測可能性を重視することで、よりロバストで汎用性が高く自己一貫性のあるポリシーを学習する。

ABSTRACT

Many of the challenges facing today's reinforcement learning (RL) algorithms, such as robustness, generalization, transfer, and computational efficiency are closely related to compression. Prior work has convincingly argued why minimizing information is useful in the supervised learning setting, but standard RL algorithms lack an explicit mechanism for compression. The RL setting is unique because (1) its sequential nature allows an agent to use past information to avoid looking at future observations and (2) the agent can optimize its behavior to prefer states where decision making requires few bits. We take advantage of these properties to propose a method (RPC) for learning simple policies. This method brings together ideas from information bottlenecks, model-based RL, and bits-back coding into a simple and theoretically-justified algorithm. Our method jointly optimizes a latent-space model and policy to be self-consistent, such that the policy avoids states where the model is inaccurate. We demonstrate that our method achieves much tighter compression than prior methods, achieving up to 5x higher reward than a standard information bottleneck. We also demonstrate that our method learns policies that are more robust and generalize better to new tasks.

研究の動機と目的

• 標準的な強化学習アルゴリズムに明示的な圧縮メカニズムが欠如していることによる、ロバスト性、一般化性、移行性の制限を解消すること。
• 意思決定の逐次的性質を活用し、エージェントが過去の情報を用いて将来のセンシングニーズを低減できること。
• エージェントが動的予測と圧縮が容易な状態に行動を調整できること。
• 情報ボトルネック、モデルベース強化学習、ビットバックコーディングを統合する理論的根拠に基づく手法を開発し、ポリシーの単純さと一貫性を向上させること。
• 圧縮されたポリシーが、標準的な強化学習および情報ボトルネックベースラインと比較して、より優れたロバスト性と一般化性能を示すことを実証すること。

提案手法

• RPCは、ビットバックコーディングを用いた変分推論フレームワークにより、観測と行動の間の相互情報量を最小化するように、潜在空間におけるワールドモデルと制御ポリシーを共同で学習する。
• ポリシーは、ワールドモデルの正確さが高い状態を好むように最適化され、自己一貫性のある行動と改善された予測計画を可能にする。
• 変分事後分布を用いて潜在変数の事後分布を近似し、確率的勾配降下法によるエンドツーエンド学習を可能にする。
• 個々の観測ではなく、観測の系列に情報ボトルネックの原則を適用することで、時間的予測可能性を捉える。
• 目的関数には、ワールドモデルの再構成項と、ポリシーの情報使用量の圧縮を強制するKLダイバージェンス項が含まれる。
• ポリシーは、報酬を最大化すると同時に、状態-行動関係を表現するのに使用するビット数を最小化するように訓練され、予測可能で単純な行動を好む。

実験結果

リサーチクエスチョン

• RQ1 ワールドモデルとポリシーの共同最適化は、強化学習におけるより優れた圧縮とロバスト性をもたらすか？
• RQ2 予測モデリングとビットバックコーディングによる情報使用量の最小化は、タスクや環境をまたいでより良い一般化を実現するポリシーをもたらすか？
• RQ3 エージェントは、予測と圧縮が容易な状態に行動を調整することで利益を得られるか？
• RQ4 観測やダイナミクスに対する悪意ある攻撃に対するロバスト性という観点から、圧縮ベースのポリシー学習は、標準的な情報ボトルネックおよびモデルベース強化学習と比較してどうなるか？
• RQ5 情報使用量の低減は、強化学習における階層的かつ合成可能な行動にどの程度寄与するか？

主な発見

• RPCは、同じビットレートに制限された標準的な情報ボトルネック手法と比較して、最大5倍の報酬を達成し、圧縮効率の優位性を示した。
• RPCポリシーは観測ドロップアウトに対して顕著にロバストであり、観測の50％が欠落しても高い性能を維持し、このような状況下でベースラインを上回った。
• RPCで学習された圧縮ポリシーは、観測およびダイナミクスに対する悪意ある攻撃に対してもより耐性があり、1状態あたり3ビット未満の使用ビット数で、高ビット数ポリシーが失敗する強力な摂動下でも姿勢を維持した。
• RPCポリシーは、ロボット質量の増加や摩擦の低下といった摂動を加えたダイナミクスに対しても、一般化性能が優れており、低ビット数ポリシーが分布シフト下でも優れた性能を示した。
• 本手法は、階層的強化学習に適した表現を学習しており、圧縮下で学習された行動の合成可能性が実証された。
• ビットレートは、パフォーマンスとロバスト性の間の制御可能なトレードオフとして機能し、低ビットレートでは訓練報酬が低下するが、よりロバストなポリシーが得られた。