[論文レビュー] Causal Imitation Learning with Unobserved Confounders

Junzhe Zhang, Daniel Kumor+1 more|arXiv (Cornell University)|Aug 12, 2022

Reinforcement Learning in Robotics参考文献 31被引用数 23

ひとこと要約

本論文は、デモンストレーターと学習者が観測されない共変量のために異なる共変量を観測する場合の模倣学習の因果フレームワークを構築し、デモンストレーションから模倣政策を学ぶためのグラフィカルな基準と実用的なアルゴリズムを提供する。

ABSTRACT

One of the common ways children learn is by mimicking adults. Imitation learning focuses on learning policies with suitable performance from demonstrations generated by an expert, with an unspecified performance measure, and unobserved reward signal. Popular methods for imitation learning start by either directly mimicking the behavior policy of an expert (behavior cloning) or by learning a reward function that prioritizes observed expert trajectories (inverse reinforcement learning). However, these methods rely on the assumption that covariates used by the expert to determine her/his actions are fully observed. In this paper, we relax this assumption and study imitation learning when sensory inputs of the learner and the expert differ. First, we provide a non-parametric, graphical criterion that is complete (both necessary and sufficient) for determining the feasibility of imitation from the combinations of demonstration data and qualitative assumptions about the underlying environment, represented in the form of a causal model. We then show that when such a criterion does not hold, imitation could still be feasible by exploiting quantitative knowledge of the expert trajectories. Finally, we develop an efficient procedure for learning the imitating policy from experts' trajectories.

研究の動機と目的

• 専門家の入力が観測されない共変量の影響を受け、報酬が潜在的であるときに模倣学習を動機づける。
• 因果図と観測データから模倣性を評価するための完全なグラフィカル基準を提供する。
• 識別可能でない場合に模倣ポリシーを同定する十分条件アルゴリズムを開発する。
• 明示的な因果パラメトラizationを介して模倣ポリシーを学習し、合成データで検証する実践的な手順を提供する。

提案手法

• 観測された内生変数と潜在的エンド変数をモデル化するために、部分観測可能構造因果モデル（POSCMs）を導入する。
• 潜在的報酬を持つポリシーの同定可能性と模倣性の概念を定義する。
• 模倣が実現可能なときの Global および backdoor ベースの基準（Imitation by Direct Parents および Imitation by π-Backdoor）を証明する。
• Imitate アルゴリズムを導入し、模倣の道具変数（代用変数と識別可能な部分空間）を探索し、P(s|do(π)) = P(s) を解くことによってポリシーを学習する。
• 識別された部分空間内で P(s|do(π)) が識別可能であり、標準的な密度推定や線形方程式系を用いて解かれる実践的な最適化フレームワークを提供する。
• 代用変数を選択し、道具変数を同定し、模倣ポリシーを得るための最適化を実装する手順を概説する。

実験結果

リサーチクエスチョン

• RQ1 報酬が潜在的で混乱が存在する場合、どのグラフィカル条件の下で専門家の報酬を模倣することが可能か？
• RQ2 バックドア様の基準と観測データをどのように活用して、専門家のポリシーが学習者のポリシースペースの外にある場合に模倣ポリシーを構築できるか？
• RQ3 代理変数と識別可能な部分空間をどのように用いて、POSCMs において専門家のパフォーマンスを再現するポリシーを学習できるか？
• RQ4 実-valued 観測分布を用いて効率的に模倣ポリシーを見つける実用的なアルゴリズムとは何か？

主な発見

• 完全なグラフィカル基準（Imitation by Direct Parents）により、因果グラフとポリシー空間に基づいて模倣が実行可能かが特定される。
• 2つ目の基準（Imitation by π-Backdoor）は、観測データを用いたポリシー ベースの模倣を可能とするバックドア適合集合を通じて模倣性を特徴づける。
• 拡張されたフレームワーク（実用的模倣性）は、純粋な同定可能性が失敗しても、実際の観測分布 P(o) および代用変数を活用して模倣を達成できることを示す。
• Imitate アルゴリズムを導入し、模倣道具変数と識別可能な部分空間を探索し、P(s|do(π)) = P(s) を満たすポリシーを計算する。
• 概念実証：このアプローチは、パラメトリック/因果モデリングと高次元の合成データセットでの検証を通じて、模倣ポリシーを学習する実用的な方法を提供する。