[論文レビュー] Counterfactual Data Augmentation using Locally Factored Dynamics

Silviu Pitis, Elliot Creager+1 more|arXiv (Cornell University)|Jul 6, 2020

Reinforcement Learning in Robotics参考文献 89被引用数 11

ひとこと要約

本稿では、動的環境における局所的に要因分解された因果構造を活用して、因果的に有効な反事後的経験を生成する、Counterfactual Data Augmentation (CoDA) を提案する。注意機構を用いた構造同定により局所的に独立する部分過程を特定し、観測された軌道間で要素を入れ替えることで、前向きのダイナミクスモデルを必要とせずにモデルフリー強化学習におけるサンプル効率を向上させる。この手法は、バッチ制約付きおよびゴール条件付きRL設定において顕著に性能を向上させる。

ABSTRACT

Many dynamic processes, including common scenarios in robotic control and reinforcement learning (RL), involve a set of interacting subprocesses. Though the subprocesses are not independent, their interactions are often sparse, and the dynamics at any given time step can often be decomposed into locally independent causal mechanisms. Such local causal structures can be leveraged to improve the sample efficiency of sequence prediction and off-policy reinforcement learning. We formalize this by introducing local causal models (LCMs), which are induced from a global causal model by conditioning on a subset of the state space. We propose an approach to inferring these structures given an object-oriented state representation, as well as a novel algorithm for Counterfactual Data Augmentation (CoDA). CoDA uses local structures and an experience replay to generate counterfactual experiences that are causally valid in the global model. We find that CoDA significantly improves the performance of RL agents in locally factored tasks, including the batch-constrained and goal-conditioned settings.

研究の動機と目的

• 動的システムにおける局所的因果的独立性を活用して、強化学習におけるサンプル効率を向上させること。
• 学習済みの前向きダイナミクスモデルを必要としない反事後的経験を生成するデータ拡張戦略を開発すること。
• グローバル因果構造から導かれる条件付き独立な部分過程としての局所的因果モデル（LCMs）を形式化すること。
• 観測された軌道とオブジェクト指向の状態表現のみを用いて、効率的かつ因果的に有効なデータ合成を可能にすること。
• CoDAが、バッチ制約付きおよびゴール条件付きの多様なRLベンチマークにおいて性能向上を示すことを実証すること。

提案手法

• 本手法は、グローバル因果モデルを状態空間の部分集合で条件づけることで定義される局所的因果モデル（LCMs）を導入する。
• 解きほぐされた状態表現から、局所的因果構造を推定するための注意機構を用いたアーキテクチャ（SANDy-Transformer）を用い、各タイムステップでどの部分過程が因果的に独立しているかを特定する。
• CoDAは、観測された軌道ペア間で独立する部分過程の要素（例えば、物体の位置や行動）を入れ替えることで反事後的遷移を生成し、因果的妥当性を保証する。
• 本手法は経験リプレイバッファ上でのみ動作するため、任意のエージェントアーキテクチャ（包括的でないモデルを含む）と互換性がある。
• 因果的に妥当な組み合わせのみを生成するように、局所的に条件づけられたCoDAの変種を定式化し、無効または一貫性のない遷移を回避する。
• 本手法は、合成環境および現実世界の環境（SpriteworldおよびMuJoCoタスクを含む）を用いて評価され、構造同定とデータ拡張効果に関するアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 動的環境における観測された軌道から、局所的に要因分解された因果構造を信頼性高く同定できるか？
• RQ2 軌道間の要素交換によって生成された反事後的データは、強化学習におけるサンプル効率を向上させることができるか？
• RQ3 一般化性能および学習安定性の観点から、CoDAは標準的なデータ拡張およびモデルベースのベースラインと比較してどのように差をつけるか？
• RQ4 局所的に条件づけられた反事後的データの使用は、バッチ制約付きおよびゴール条件付きRL設定における性能向上に寄与するか？
• RQ5 真の局所的要因分解へのアクセスがダイナミクスモデルの学習にどの程度寄与するか、またCoDAはその恩恵をどの程度再現できるか？

主な発見

• CoDAは、特にバッチ制約付きおよびゴール条件付き設定において、モデルフリー強化学習におけるサンプル効率を顕著に向上させ、標準的なデータ拡張およびベースライン手法を上回る性能を示した。
• 2000件の実際の遷移と35,000件の生成された反事後的経験を用いたCoDAは、過学習を軽減し、前方ダイナミクスモデルの検証性能を向上させ、この手法の正則化効果を示した。
• SANDy-Transformerは、SANDy-Mixtureよりも局所的因果構造の同定において優れた性能を示した。これは、特に物体と行動の間の相互作用を検出する際に、より強いインダクティブバイアスを有しているためである。
• 単純なランダムリラベルベースラインでさえCoDAは一般化性能を向上させたが、学習済みの局所的構造を用いることで、はるかに優れた性能が得られた。これは因果的妥当性の重要性を示している。
• CoDAで拡張されたデータで学習されたダイナミクスモデルは、次状態予測誤差が同程度であったにもかかわらず、実データでの学習に比べて、より良好な長期軌道生成および衝突モデリングを示した。
• 本手法は、前向きのダイナミクスモデルを必要とせず、既存のRLエージェントおよびアーキテクチャに広く適用可能である。