[論文レビュー] Causal Curiosity: RL Agents Discovering Self-supervised Experiments for Causal Representation Learning

Sumedh Sontakke, Arash Mehrjou+2 more|arXiv (Cornell University)|Oct 7, 2020

Child and Animal Learning Development参考文献 35被引用数 8

ひとこと要約

本論文では、因果的好奇心（causal curiosity）と呼ばれる内在的報酬を導入し、強化学習エージェントが物理的環境における分離可能な因果要因を自己教師的に推論するための自律的実験行動を発見可能にする。One-Factor-at-a-Time（OFAT）実験手法を模倣することで、エージェントは解釈可能なバイナリ量子化表現（例：質量、サイズ、摩擦）を学習し、教師ありベースラインと比較してデータ要件を約2.5倍削減するとともに、ゼロショット一般化を達成する。

ABSTRACT

Animals exhibit an innate ability to learn regularities of the world through interaction. By performing experiments in their environment, they are able to discern the causal factors of variation and infer how they affect the world's dynamics. Inspired by this, we attempt to equip reinforcement learning agents with the ability to perform experiments that facilitate a categorization of the rolled-out trajectories, and to subsequently infer the causal factors of the environment in a hierarchical manner. We introduce {\em causal curiosity}, a novel intrinsic reward, and show that it allows our agents to learn optimal sequences of actions and discover causal factors in the dynamics of the environment. The learned behavior allows the agents to infer a binary quantized representation for the ground-truth causal factors in every environment. Additionally, we find that these experimental behaviors are semantically meaningful (e.g., our agents learn to lift blocks to categorize them by weight), and are learnt in a self-supervised manner with approximately 2.5 times less data than conventional supervised planners. We show that these behaviors can be re-purposed and fine-tuned (e.g., from lifting to pushing or other downstream tasks). Finally, we show that the knowledge of causal factor representations aids zero-shot learning for more complex tasks. Visit https://sites.google.com/usc.edu/causal-curiosity/home for website.

研究の動機と目的

• 教師なしで物理的環境における因果要因を発見できる強化学習エージェントを実現すること。
• 行動シーケンスを通じて個々の因果要因を分離する自己教師的実験戦略を開発すること。
• 軌道データから因果要因（例：質量、摩擦）の分離可能で解釈可能な表現を学習すること。
• 未確認の環境におけるゼロショット一般化と転移学習を向上させること。
• タスク固有の報酬に代わって内在的報酬駆動の探索に置き換えることで報酬設計への依存を低減すること。

提案手法

• 特定の因果要因の影響を隔離し、他の要因の干渉を最小限に抑える行動を促進する内在的報酬として因果的好奇心を導入すること。
• OFAT法にインspiredされた実験行動（例：持ち上げる、押す）を設計し、一度に1つの因果要因にのみ焦点を当てる。
• PPOを用いて因果的好奇心報酬でエージェントを訓練し、個々の因果要因に関する情報量の増加を最大化する最適な行動シーケンスを発見すること。
• 各レベルが特定の因果要因の高/低値に対応する階層的バイナリ表現を構築すること（例：高/低質量）。
• 推定された因果表現を下流のポリシー・ネットワークの入力として使用し、新しいタスクへのゼロショット転移を可能にすること。
• 新しいタスク（例：持ち上げから押すへ）に対して、再訓練をせずに発見された実験行動を微調整すること。

実験結果

リサーチクエスチョン

• RQ1 RLエージェントは物理的環境において、個々の因果要因を分離する自己教師的実験行動を自律的に発見できるか？
• RQ2 因果的好奇心は、教師なしで分離可能で解釈可能な因果要因の表現を達成できるか？
• RQ3 因果表現の知識は、下流タスクにおけるゼロショット一般化を向上させるか？
• RQ4 因果的好奇心のデータ効率は、教師あり計画ベースラインと比較してどうか？
• RQ5 発見された実験行動は、新しいタスクに再利用可能で、微調整可能か？

主な発見

• 因果的好奇心により、エージェントはブロックの質量を推定するために持ち上げるといった意味的に意味のある実験行動を発見し、自己教師的で解釈可能な探索を実現した。
• エージェントは軌道データからの階層的推論を通じて、因果要因（例：質量、サイズ、摩擦）の分離可能でバイナリ量子化された表現を達成した。
• 同じタスクにおいて、従来の教師ありプランナーよりもデータ要件を約2.5倍削減した。
• 因果的になかなか好奇心を示すエージェントは、ゼロショット転移において一般化型と専門型のベースラインを著しく上回り、因果表現が一般化性を向上させることを示した。
• 因果表現の知識により、サンプル効率が向上し、押すやタワー構築といった新しいタスクにおける実験行動の成功した微調整が可能になった。
• 本手法により、未確認の環境における質量とサイズの新しい組み合わせに対しても強力なゼロショット一般化が達成され、その堅牢性が検証された。