[論文レビュー] Invariant Causal Imitation Learning for Generalizable Policies

Ioana Bica, Daniel Jarrett+1 more|arXiv (Cornell University)|Nov 2, 2023

AI-based Problem Solving and Planning被引用数 10

ひとこと要約

ICIL は複数の環境から不変な因果表現を学習し、未知の環境へ一般化するために偽の相関とダイナミクスの不一致を緩和することで、バッチ模倣ポリシーを構築します。

ABSTRACT

Consider learning an imitation policy on the basis of demonstrated behavior from multiple environments, with an eye towards deployment in an unseen environment. Since the observable features from each setting may be different, directly learning individual policies as mappings from features to actions is prone to spurious correlations -- and may not generalize well. However, the expert's policy is often a function of a shared latent structure underlying those observable features that is invariant across settings. By leveraging data from multiple environments, we propose Invariant Causal Imitation Learning (ICIL), a novel technique in which we learn a feature representation that is invariant across domains, on the basis of which we learn an imitation policy that matches expert behavior. To cope with transition dynamics mismatch, ICIL learns a shared representation of causal features (for all training environments), that is disentangled from the specific representations of noise variables (for each of those environments). Moreover, to ensure that the learned policy matches the observation distribution of the expert's policy, ICIL estimates the energy of the expert's observations and uses a regularization term that minimizes the imitator policy's next state energy. Experimentally, we compare our methods against several benchmarks in control and healthcare tasks and show its effectiveness in learning imitation policies capable of generalizing to unseen environments.

研究の動機と目的

• 未知の環境に一般化する模倣ポリシーの学習を動機づける。
• 観測から不変の因果状態を抽出して偽の相関に対処する。
• 因果構造を保ちながら環境固有のノイズと遷移ダイナミクスを扱う。
• エネルギーベースの正則化を用いて専門家の観測分布内に留まるポリシー学習を促進する。

提案手法

• 観測を不変の因果状態 s と環境固有のノイズ η に分解する。
• 不変性を強制する対立的損失を用いて s 上で環境分類器を訓練する。
• s および η の遷移モデルと x_{t+1} の再構成を学習して、ダイナミクスを保持する制約を課す。
• MINE を介して s と η の間の相互情報を最小化して独立性を強制する。
• 負の対数尤度最小化（ビヘイビア・クローン）により s に条件付けられたポリシー π を学習する。
• 専門家の占有のエネルギーベースモデルを用いて imitator の次状態分布を正則化し、生成された次の観測のエネルギーを最小化する。

実験結果

リサーチクエスチョン

• RQ1 共有された不変の因果表現 s は多様な環境にまたがる行動を回復できるか？
• RQ2 s に基づく模倣を条件づけることは、ダイナミクスの不一致を伴う未知の環境への一般化を改善するか？
• RQ3 厳密なオフライン設定でエネルギーベースの正則化が imitator を専門家の観測分布内に保つことができるか？
• RQ4 s と環境固有ノイズ η の独立性を強制することが一般化に与える影響は？

主な発見

• ICIL は OpenAI Gym のタスクにおいて、未知の環境への一般化の観点でベースライン（BC、RCAL、VDICE、EDM）を上回る。
• 既存のバッチ模倣ベースラインへ直接 IRM を追加すると、しばしば安定性と性能が低下する。
• ICIL は制御タスクで異なる偽相関とカメラアングルを持つ未知の環境へ成功裡に一般化する。
• 実験には医療関連の ICU データ（MIMIC III）を含み、現実世界ドメインでの一般化を評価する。
• アブレーション研究は、不変表現、ダイナミクスの保持、およびエネルギーベース正則化が性能に寄与することを示す。