[論文レビュー] Theory-based Causal Transfer: Integrating Instance-level Induction and Abstract-level Structure Learning

Mark Edmonds, Xiaojian Ma+4 more|arXiv (Cornell University)|Nov 25, 2019

Reinforcement Learning in Robotics参考文献 29被引用数 4

ひとこと要約

本論文は、インスタンスレベルの関連学習と抽象レベルの因果構造学習を統合することで、動的環境における頑健な知識転送を可能にする理論に基づく因果転送フレームワークを提案する。インタラクションから因果モデルをベイズ推論によって学習することで、エージェントはOpenLock「脱出ゲーム」環境で人間並みの転送性能を達成し、状態-行動の関連に依存するモデルフリー強化学習エージェントが試行間で一般化に失敗するのとは対照的に優れた性能を発揮する。

ABSTRACT

Learning transferable knowledge across similar but different settings is a fundamental component of generalized intelligence. In this paper, we approach the transfer learning challenge from a causal theory perspective. Our agent is endowed with two basic yet general theories for transfer learning: (i) a task shares a common abstract structure that is invariant across domains, and (ii) the behavior of specific features of the environment remain constant across domains. We adopt a Bayesian perspective of causal theory induction and use these theories to transfer knowledge between environments. Given these general theories, the goal is to train an agent by interactively exploring the problem space to (i) discover, form, and transfer useful abstract and structural knowledge, and (ii) induce useful knowledge from the instance-level attributes observed in the environment. A hierarchy of Bayesian structures is used to model abstract-level structural causal knowledge, and an instance-level associative learning scheme learns which specific objects can be used to induce state changes through interaction. This model-learning scheme is then integrated with a model-based planner to achieve a task in the OpenLock environment, a virtual ``escape room'' with a complex hierarchy that requires agents to reason about an abstract, generalized causal structure. We compare performances against a set of predominate model-free reinforcement learning(RL) algorithms. RL agents showed poor ability transferring learned knowledge across different trials. Whereas the proposed model revealed similar performance trends as human learners, and more importantly, demonstrated transfer behavior across trials and learning situations.

研究の動機と目的

• 表面的な特徴は異なるが共通の下位メカニズムを有する環境間で因果的知識を転送する課題に対処すること。
• 状態-行動の関連に依存するが構造的抽象化を行わないため一般化に失敗するモデルフリー強化学習の限界を克服すること。
• 下位からの関連学習と上位からの因果構造誘導を組み合わせたハイブリッド学習システムを構築し、転送可能な世界モデルを形成すること。
• 不慣れなが構造的に類似した環境間で一般化できるように、不変の因果構造と再利用可能な因果仮説を学習すること。
• 因果理論誘導とモデルベース計画を統合することで、複雑な階層的タスクで人間と同等の転送行動を実現できることを示すこと。

提案手法

• 因果仮説を証拠に基づいて更新する確率的信念として扱うベイズフレームワークを用いて、インタラクションから因果理論を誘導する。
• 抽象レベルの因果関係を表現するためのベイズ構造の階層を用い、共通のメカニズムを有するドメイン間での一般化を可能にする。
• 特定のオブジェクト操作（例：レバーの押し引き）と観察可能な状態変化のマッピングを実装するインスタンスレベルの関連学習方式を採用する。
• 学習した因果モデルをモデルベースプランナと統合し、OpenLock仮想環境における行動選択をガイドする。
• 因果仮説をテスト・精錬するための能動的探索を活用し、結果に基づいて因果仮説空間上の信念分布を更新する。
• 学習プロセスを、各仮説が潜在的な因果メカニズムを符号化する構造化された仮説空間上の信念更新メカニズムとして形式化する。

実験結果

リサーチクエスチョン

• RQ1 インスタンスレベルの関連学習と抽象レベルの因果構造学習を組み合わせたハイブリッド学習システムは、類似しているが異なる環境間で効果的な知識転送を可能にするか？
• RQ2 モデルベース計画と因果理論誘導を統合することで、階層的タスクにおけるモデルフリー強化学習と比較して一般化性能がどのように向上するか？
• RQ3 人間の学習者と提案モデルは試行間で転送可能な行動を示すが、なぜモデルフリー強化学習エージェントは一般化に失敗するのか？
• RQ4 複雑な環境における失敗経路の削減と計画効率の向上において、因果的抽象化はどのような役割を果たすのか？
• RQ5 能動的探索を通じて正しい因果構造を発見できるように保ちつつ、仮説空間の列挙をどのようにスケーラブルに実現できるか？

主な発見

• 提案モデルは試行を通じて一貫したパフォーマンストレンドを示し、人間の学習行動を模倣したのに対し、モデルフリー強化学習エージェントは試行間で知識を転送できなかった。
• CC（一貫的設定）条件下では、不変の因果構造を同定することで信頼性の高い成功が達成され、表面的変化に対して頑健であることが示された。
• CE（可変環境）条件下では、抽象的因果構造を推論できる能力のおかげで、モデルフリー強化学習エージェントとは異なり、より複雑な失敗経路を効果的にナビゲートできた。
• 構造的不変性はあるが知覚的変動がある環境において、提案モデルはタスク完了率とサンプル効率の両面でベースライン強化学習アルゴリズムを上回った。
• エージェントの一般化能力は、特定のインスタンスレベルの相互作用と抽象的因果構造を同時に学習する二重学習メカニズムに起因すると判明した。
• 研究により、想定外の非対称性が判明した：CE条件下の失敗経路はCCよりも多かったが、モデルは因果的抽象化と仮説検証によりこれを効果的に処理できた。