[論文レビュー] Systematic Evaluation of Causal Discovery in Visual Model Based Reinforcement Learning

Nan Rosemary Ke, Aniket Didolkar+8 more|arXiv (Cornell University)|Jul 2, 2021

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 5

ひとこと要約

本論文は、エージェントがピクセル観測から高レベルの因果変数を学習する視覚的モデルベース強化学習における因果発見を評価するための体系的でチューニング可能なベンチマークスイートを紹介する。著者らは、モジュラーなニューラルネットワークアーキテクチャが、標準的なオートエンコーダーやVAEと比較して、因果グラフの複雑さが変化する状況でも顕著に因果構造の誘導性能を向上させることを示している。

ABSTRACT

Inducing causal relationships from observations is a classic problem in machine learning. Most work in causality starts from the premise that the causal variables themselves are observed. However, for AI agents such as robots trying to make sense of their environment, the only observables are low-level variables like pixels in images. To generalize well, an agent must induce high-level variables, particularly those which are causal or are affected by causal variables. A central goal for AI and causality is thus the joint discovery of abstract representations and causal structure. However, we note that existing environments for studying causal induction are poorly suited for this objective because they have complicated task-specific causal graphs which are impossible to manipulate parametrically (e.g., number of nodes, sparsity, causal chain length, etc.). In this work, our goal is to facilitate research in learning representations of high-level variables as well as causal structures among them. In order to systematically probe the ability of methods to identify these variables and structures, we design a suite of benchmarking RL environments. We evaluate various representation learning algorithms from the literature and find that explicitly incorporating structure and modularity in models can help causal induction in model-based reinforcement learning.

研究の動機と目的

• 視覚的モデルベースRLにおける因果誘導の評価に向けた体系的でチューニング可能な環境の不足に対処する。
• 固定され、複雑または混合された因果構造を持つ既存のRL環境が、因果学習の探査に不適切であるという限界を克服する。
• 因果グラフの主な特性（例：スパarsity、サイズ、チェーン長さ、観測可能性）を体系的に入力できるモジュラーなベンチマークプラットフォームを提供する。
• 異なる表現学習アーキテクチャが、生の視覚的観測から因果構造をどのように発見するかを評価する。
• H@1、MRR、再構成誤差を含む、因果誘導の進展を測るための標準化された評価指標を確立する。

提案手法

• チェーン、フル、コリーダー構造を含む、チューニング可能な真の因果グラフを持つカスタムRL環境のスイートを設計する。
• ノード数、スパarsity、変数が観測可能か潜在変数かといったパラメータを制御し、因果学習の特定の側面を分離する。
• NLL損失を用いて、ピクセル観測上での複数の表現学習モデル（オートエンコーダー（AE）、変分オートエンコーダー（VAE）、モジュラー構造、グラフニューラルネットワーク（GNN））を訓練する。
• 介入ベースのデータ（行動を介入として扱う）を用いて因果ダイナミクスをシミュレートし、モデルの因果構造回復性能を評価する。
• 1、5、10ステップ予測タスクにおいて、3つの指標（1位ヒット率（H@1）、平均逆順位（MRR）、再構成誤差）を用いてモデルを評価する。
• 因果発見における視覚入力からの有効なインダクティブバイアスを明示的に符号化するモジュラー構造を導入する。

実験結果

リサーチクエスチョン

• RQ1 制御された環境下で、異なる表現学習アーキテクチャは、生のピクセル観測から因果構造をどの程度効果的に発見できるか？
• RQ2 （例：モジュラリティを含む）構造的インダクティブバイアスを組み込むことで、視覚的MBRLにおける因果発見はどの程度向上するか？
• RQ3 因果グラフの特性（例：スパarsity、チェーン長さ、コリーダー構造）の変化が、因果誘導手法の性能に与える影響は何か？
• RQ4 H@1 や MRR といった標準化された評価指標は、視覚データからの因果構造発見の進捗を信頼性高く測定できるか？
• RQ5 観測されない交絡要因やコリーダー構造の存在が、モデルが正しい因果グラフを回復する能力に与える影響は何か？

主な発見

• モジュラー構造は、チェーン構造における1ステップ予測で最高のH@1（16.863 ± 0.135）とMRR（23.047 ± 0.027）を達成し、AE（17.62 ± 0.192、23.85 ± 0.065）とVAE（9.847 ± 0.572、15.407 ± 0.559）を上回った。
• コリーダー構造では、モジュラーモデルが10ステップ予測で100%の成功率（0.697 ± 0.075）を達成し、GNN（0.35 ± 0.028）とVAE（0.02 ± 0.0）を著しく上回った。
• GNNモデルは、すべての構造で性能が低く、ほとんどの設定でMRR値が6.0未満にとどまり、視覚的入力からの因果構造回復能力に限界があることが示された。
• AEとVAEモデルは再構成誤差が強く、因果構造回復能力は弱く、ほとんどの設定でH@1値が5.0未満であったため、因果関係への一般化能力に欠けていることが示唆された。
• チェーン構造における1ステップ予測では、H@1と成功率の間に正の相関が観察されたが、予測ホライズンが長くなるとこの関係は弱まった。
• モジュラー構造は、再構成性能と因果構造回復性能の両面で他のモデルを常に上回り、特にフル構造やコリーダー構造のような複雑なグラフにおいて顕著であった。これは、因果発見におけるインダクティブバイアスとしての有効性を示している。