[論文レビュー] Sequential Causal Imitation Learning with Unobserved Confounders

Daniel Kumor, Junzhe Zhang+1 more|arXiv (Cornell University)|Aug 12, 2022

Machine Learning and Algorithms被引用数 4

ひとこと要約

本稿では、観測変数が異なる状況下でも、特に未観測の交絡要因が存在する場合に、模倣者が示し手のパフォーマンスを完全に再現できるかどうかを判断するためのグラフィカル基準と効率的なアルゴリズムを提案する。この手法により、模倣可能性が因果的学習において必要かつ十分であることが保証され、潜在変数を含むマルチステージ環境における因果的模倣学習が可能になる。

ABSTRACT

"Monkey see monkey do" is an age-old adage, referring to naïve imitation without a deep understanding of a system's underlying mechanics. Indeed, if a demonstrator has access to information unavailable to the imitator (monkey), such as a different set of sensors, then no matter how perfectly the imitator models its perceived environment (See), attempting to reproduce the demonstrator's behavior (Do) can lead to poor outcomes. Imitation learning in the presence of a mismatch between demonstrator and imitator has been studied in the literature under the rubric of causal imitation learning (Zhang et al., 2020), but existing solutions are limited to single-stage decision-making. This paper investigates the problem of causal imitation learning in sequential settings, where the imitator must make multiple decisions per episode. We develop a graphical criterion that is necessary and sufficient for determining the feasibility of causal imitation, providing conditions when an imitator can match a demonstrator's performance despite differing capabilities. Finally, we provide an efficient algorithm for determining imitability and corroborate our theory with simulations.

研究の動機と目的

• 専門家と模倣者が観測する変数に不一致がある状況下における順序的意思決定の因果的模倣学習のギャップを埋めること。
• 模倣者が観測する変数が異なるにもかかわらず、示し手のパフォーマンスと同一の性能を達成できるような明確なグラフィカルな条件を同定すること。
• 各行動の順序に対して模倣ポリシーを最適に合成できる、模倣可能性を決定するための効率的なアルゴリズムを開発すること。
• 提案された基準が、潜在的交絡要因を伴う順序的因果モデルにおける模倣可能性に関して、必要かつ十分であることを証明すること。

提案手法

• ドメインの因果構造を表現するために構造的因果モデル（SCM）を採用し、示し手と模倣者が観測する変数をエンコードする。
• do計算に適合する干渉と背後パスを分析することで、模倣可能性を決定するための新しいグラフィカル基準を導入する。
• 時間的ステップごとに有効な調整集合の存在を体系的にチェックすることで、未観測の交絡要因が模倣ポリシーにバイアスを及えないように保証する。
• 時系列の順序と条件付き独立性を活用し、各意思決定ポイントで欠落した観測を補うことができる観測変数を同定する。
• 密度推定や大規模なデータ処理を回避するように設計されており、計算的に効率的である。
• 誤差が早期の行動で生じた場合に、後続の行動で是正可能であることをモデル化することで、単一段階の因果的模倣学習の先行研究を順序的設定に拡張する。

実験結果

リサーチクエスチョン

• RQ1 模倣者と示し手が異なる変数セットを観測する場合、順序的意思決定プロセスにおいて、模倣者が示し手の行動を完全に模倣できるグラフィカルな条件は何か？
• RQ2 複数の時間ステップにわたり未観測の交絡要因が存在する状況下でも、模倣可能性を同定できるか。その場合の必要十分条件は何か？
• RQ3 示し手が潜在変数にアクセスできる状況でも、模倣者のポリシーをどのように構築すれば、示し手のパフォーマンスと同等の性能を達成できるか？
• RQ4 未観測の交絡要因によって根本的に模倣が不可能なケースと、適切な変数選択によって可能となるケースを区別できるか？
• RQ5 本手法は、観測された親変数やすべての共変数に依存する非因果的アプローチ（例：行動クラーニング）と比較して、どのように異なるか？

主な発見

• 提案されたグラフィカル基準は、未観測の交絡要因を伴う順序的因果的模倣学習における模倣可能性に関して、必要かつ十分であることが確認された。
• シミュレーションでは、最も複雑なケース（図1d）において平均誤差0.19±0.29%を達成し、非因果的ベースラインを著しく上回った。
• 観測された親変数のみ、またはすべての共変数を使用した行動クラーニングはバイアスを生じた（例：表1では26.00±0.39%の誤差）、一方で、本手法はバイアスなしで安定した性能を示した。
• 未観測変数が根本的な同定問題を引き起こすケースでは、非因果的アプローチとは異なり、本手法は模倣不可能性を正しく同定した。
• 実世界のHighDデータに基づく敵対的合成モデルでも、本手法は専門家の水準に近いパフォーマンスを達成したのに対し、非因果的手法はバイアスのあるポリシーを生成した。
• アルゴリズムは、後続の行動が初期の意思決定の誤りを是正できることを正しく同定し、中間変数が未観測であっても模倣可能性を実現できた。