[論文レビュー] The Role of Pretrained Representations for the OOD Generalization of RL Agents

Andrea Dittadi, Frederik Träuble+8 more|arXiv (Cornell University)|Jul 12, 2021

Reinforcement Learning in Robotics参考文献 63被引用数 4

ひとこと要約

この論文は、事前学習された変分オートエンコーダー（VAE）ベースの表現が強化学習（RL）エージェントの分布外（OOD）一般化をどの程度向上させるかを調査している。シミュレーション上で240種類の表現と10,000件のRLポリシーを用いた広範な実験を通じて、これらの表現における代理タスクが、下流のOOD一般化を信頼性高く予測できることを明らかにした。これにより、困難なシミュレーションから実世界への転移（sim-to-real shift）下でも、頑健なエージェントを効率的に選別できるようになった。

ABSTRACT

Building sample-efficient agents that generalize out-of-distribution (OOD) in real-world settings remains a fundamental unsolved problem on the path towards achieving higher-level cognition. One particularly promising approach is to begin with low-dimensional, pretrained representations of our world, which should facilitate efficient downstream learning and generalization. By training 240 representations and over 10,000 reinforcement learning (RL) policies on a simulated robotic setup, we evaluate to what extent different properties of pretrained VAE-based representations affect the OOD generalization of downstream agents. We observe that many agents are surprisingly robust to realistic distribution shifts, including the challenging sim-to-real case. In addition, we find that the generalization performance of a simple downstream proxy task reliably predicts the generalization performance of our RL agents under a wide range of OOD settings. Such proxy tasks can thus be used to select pretrained representations that will lead to agents that generalize.

研究の動機と目的

• 事前学習された表現が強化学習（RL）エージェントの分布外（OOD）一般化をどの程度向上させるかを調査すること。
• さまざまなVAEベースの表現の特性が、分布シフト下での下流のRLポリシー性能に与える影響を評価すること。
• 単純な代理タスクが、RLエージェントのOOD一般化能力を信頼性高く予測できるかどうかを特定すること。
• 実世界に類似した設定において、頑健でサンプル効率の良いRLエージェントを生成する表現の特徴を同定すること。

提案手法

• シミュレーテッドロボット環境上で240種類の異なるVAEベースの表現を学習し、多様な世界表現を捉えること。
• 各表現の上に10,000件以上のRLポリシーを学習させ、OOD設定下での下流一般化を評価すること。
• 代理タスク（非RLの簡単な下流タスクにおける表現品質の評価）を用いて、RLエージェントのOOD一般化性能を予測すること。
• シミュレーションから実世界への転移、観測空間における分布シフト、アクション空間の変化など、複数のOOD設定での一般化を評価すること。
• 多様な表現タイプにわたる代理タスクのパフォーマンスと実際のRLエージェントのパフォーマンスとの相関を分析すること。

実験結果

リサーチクエスチョン

• RQ1 事前学習されたVAEベースの表現は、RLエージェントのOOD一般化をどの程度向上させるか？
• RQ2 単純な代理タスクは、異なる表現に基づいて学習されたRLエージェントのOOD一般化パフォーマンスを正確に予測できるか？
• RQ3 事前学習された表現のどの特性が、下流のRLポリシーにおける頑健なOOD一般化と最も強く相関しているか？
• RQ4 表現の品質は、シミュレーションから実世界への分布シフト下で、サンプル効率と頑健性にどのように影響を与えるか？

主な発見

• 事前学習された表現に基づいて学習された多くのRLエージェントは、ドメイン適応を明示的に実施していなくても、シミュレーションから実世界への転移を含む現実的な分布シフトに対して強い頑健性を示す。
• 代表的な下流の代理タスクにおける表現のパフォーマンスは、多様なOOD設定下で、対応するRLエージェントのOOD一般化パフォーマンスを強く予測する。
• 代理タスクで高いパフォーマンスを示す表現は、一貫して優れた一般化性能を示すRLエージェントを生成するため、高性能な表現の効率的選別が可能になる。
• 微調整なしでも、事前学習された表現は、サンプル効率とOOD一般化を著しく向上させるため、実世界のRLにおけるインダクティブバイアスとしての価値が示唆される。