[論文レビュー] Resolving Spurious Correlations in Causal Models of Environments via Interventions

Sergei Volodin, Nevan Wichers+1 more|arXiv (Cornell University)|Feb 12, 2020

Reinforcement Learning in Robotics参考文献 31被引用数 5

ひとこと要約

本論文では、強化学習に基づく手法を提案し、環境の因果モデルにおける誤った相関関係を解消するために、因果モデルの正確性を向上させる介入を設計する。介入報酬を学習してエージェントを訓練することで、誤った関連性を露呈・是正するデータを収集し、ランダムまたは環境報酬ポリシーから学習する場合と比較して、より頑健で正確な因果グラフを実現する。

ABSTRACT

Causal models bring many benefits to decision-making systems (or agents) by making them interpretable, sample-efficient, and robust to changes in the input distribution. However, spurious correlations can lead to wrong causal models and predictions. We consider the problem of inferring a causal model of a reinforcement learning environment and we propose a method to deal with spurious correlations. Specifically, our method designs a reward function that incentivizes an agent to do an intervention to find errors in the causal model. The data obtained from doing the intervention is used to improve the causal model. We propose several intervention design methods and compare them. The experimental results in a grid-world environment show that our approach leads to better causal models compared to baselines: learning the model on data from a random policy or a policy trained on the environment's reward. The main contribution consists of methods to design interventions to resolve spurious correlations.

研究の動機と目的

• 強化学習環境の因果モデルにおける誤った相関関係の問題に対処すること。これにより、誤った予測や一般化性能の低下が生じる。
• モデル仮説を能動的に検証・是正する介入を用いて、正確な因果モデルを学習するフレームワークを開発すること。
• 誤った依存関係を露呈するデータ収集を促進する介入戦略を設計し、因果モデルの整合性を向上させること。

提案手法

• 本手法は、因果モデルの仮説を検証するための構造的介入を促す報酬関数（介入報酬と呼ばれる）を用いる。
• 介入報酬は、手作業で設計されたヒューリスティクス（ノード／エッジ介入）またはエンドツーエンドで学習する方法（例：損失に基づく介入）によって設計され、モデルの誤りを明らかにする行動をエージェントに導く。
• エージェントの方策は介入報酬に基づいて訓練され、この方策からのロールアウトデータが再び因果モデルの再訓練に使用され、繰り返し正確性が向上する。
• 因果モデルに用いる特徴量は、生のピクセルではなく、観測値（例：プレイヤー、鍵、宝箱の位置）から手作業で設計されており、高レベルの推論を可能にする。
• このプロセスは反復的である：各介入の後、新しいデータに基づいて因果モデルを再訓練し、更新されたモデルに基づいて新たな介入を設計する。
• 介入の成功は、真の因果グラフへの収束を測定することで評価され、中央値としての発見までのエピソード数や、正しいグラフ同定の頻度といった指標が用いられる。

実験結果

リサーチクエスチョン

• RQ1 学習された報酬関数に従う介入が、強化学習環境の因果モデルにおける誤った相関関係を効果的に解消できるか？
• RQ2 ノード、エッジ、または損失に基づく介入といった、異なる介入設計戦略は、真の因果構造を同定する能力においてどのように比較されるか？
• RQ3 介入ポリシーを通じてデータを収集することで、ランダムまたは環境報酬ポリシーからの学習と比較して、より正確な因果モデルが得られるか？
• RQ4 介入ターゲットの選択（例：特定のノードやエッジ）の選択が、因果モデル学習の収束速度と正確性に与える影響は何か？
• RQ5 不確実性に基づいて介入ターゲットを選択することで、モデル学習の効率がどの程度向上するか？

主な発見

• 環境Bにおいて、損失に基づく介入法がノード法およびエッジ法を上回り、真の因果グラフへの収束が速かった。
• 正しい因果グラフを発見するまでに必要なエピソード数の中央値は、介入回数の増加に伴い減少し、特に損失法およびエッジ法で顕著であった。
• エッジを繰り返し使用せずにサンプリングした場合、再利用する場合よりも収束が速く、探索効率の向上が示された。
• 異なる学習サブセットに基づいて不確実性を用いてエッジを選択した場合、ランダムなエッジ選択よりも優れた結果が得られ、アクティブラーニングが介入の質を向上させることを示唆した。
• 環境報酬を用いて新しい方策を古いものに近づけることで、特徴量の統計が維持されたが、単に統計を制約するだけでは、方策の適応に伴い効果がなく、無効であった。
• 本手法は、環境BおよびCにおいて誤った相関関係を効果的に解消した。特に、鍵の有無といった特徴に依存する誤った依存関係が、介入ロールアウトからのデータによって是正された。