[論文レビュー] Representation Learning for Out-Of-Distribution Generalization in Reinforcement Learning

Andrea Dittadi, Frederik Träuble+8 more|arXiv (Cornell University)|Jun 13, 2021

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本論文は、到達や押し出しといった制御タスクにおける分布外（OOD）一般化を通じて強化学習の表現学習を評価する手法を提案する。10,000以上のポリシーを訓練することで、表現の特性がOOD性能に与える影響を体系的に特定し、ドメインランダマイゼーションやファインチューニングなしにゼロショットのシミュレーションから現実世界への転送を実証する。

ABSTRACT

Learning data representations that are useful for various downstream tasks is a cornerstone of artificial intelligence. While existing methods are typically evaluated on downstream tasks such as classification or generative image quality, we propose to assess representations through their usefulness in downstream control tasks, such as reaching or pushing objects. By training over 10,000 reinforcement learning policies, we extensively evaluate to what extent different representation properties affect out-of-distribution (OOD) generalization. Finally, we demonstrate zero-shot transfer of these policies from simulation to the real world, without any domain randomization or fine-tuning. This paper aims to establish the first systematic characterization of the usefulness of learned representations for real-world OOD downstream tasks.

研究の動機と目的

• 現実世界の分布外（OOD）制御タスクにおける学習済み表現の体系的特徴付けを確立すること。
• 分類精度や画像品質ではなく、到達や押し出しのような下流の制御タスクにおける性能に基づいて表現の有用性を評価すること。
• 異なる表現特性が強化学習におけるOOD一般化に与える影響を調査すること。
• ドメインランダマイゼーションやファインチューニングなしに、シミュレーションから現実世界へのゼロショット転送を可能にすること。

提案手法

• 多様なOOD一般化シナリオをカバーするため、10,000以上の強化学習ポリシーを訓練して表現性能を評価した。
• 到達や物体の押し出しといった制御タスクを、表現の有用性を評価する下流タスクとして用いた。
• 状態空間および行動空間における分布シフトへの一般化能力に基づいて表現を評価した。
• ファインチューニングやドメインランダマイゼーションなしに現実世界への展開を評価するため、ゼロショット転送プロトコルを採用した。
• 表現学習の要素を体系的に変化させ、OOD一般化に与える影響を分離して分析した。

実験結果

リサーチクエスチョン

• RQ1 異なる表現学習の特性は、強化学習における分布外一般化にどのように影響するか？
• RQ2 シミュレーションで学習した表現は、現実世界の制御タスクへのゼロショット転送をどの程度可能にするか？
• RQ3 どの表現特性が、下流の制御タスクにおける強固なOOD一般化性能を予測する上で最も重要か？
• RQ4 分類精度ではなく、制御性能を通じて表現学習を効果的に評価できるか？

主な発見

• 制御タスクの有用性に焦点を当てて学習された表現は、強化学習における分布外一般化を顕著に向上させる。
• 本研究では、ドメインランダマイゼーションやファインチューニングなしに、ポリシーのシミュレーションから現実世界への成功したゼロショット転送を示した。
• 分離性や不変性といった表現特性は、OOD一般化性能の強力な予測要因であることが判明した。
• 到達や押し出しといった制御タスクは、標準的なビジョンベンチマークをはるかに超える表現の有用性を評価する有効な指標である。