[論文レビュー] Causal Imitation Learning under Temporally Correlated Noise

Gokul Swamy, Sanjiban Choudhury+2 more|arXiv (Cornell University)|Feb 2, 2022

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本稿では、専門家のデモンストレーションにおける時系列に相関するノイズ（TCN）によって引き起こされる方策の劣化を軽減するために、過去の状態を道具変数として用いる因果的模倣学習アルゴリズムであるDoubILおよびResiduILを提案する。歴史的状態を活用することで誤った状態-行動相関を解消し、インタラクティブな専門家へのアクセスが不要な状況でも一貫した方策回復を達成しており、シミュレーテッド制御タスクにおいて行動コーディングを上回る性能を示す。

ABSTRACT

We develop algorithms for imitation learning from policy data that was corrupted by temporally correlated noise in expert actions. When noise affects multiple timesteps of recorded data, it can manifest as spurious correlations between states and actions that a learner might latch on to, leading to poor policy performance. To break up these spurious correlations, we apply modern variants of the instrumental variable regression (IVR) technique of econometrics, enabling us to recover the underlying policy without requiring access to an interactive expert. In particular, we present two techniques, one of a generative-modeling flavor (DoubIL) that can utilize access to a simulator, and one of a game-theoretic flavor (ResiduIL) that can be run entirely offline. We find both of our algorithms compare favorably to behavioral cloning on simulated control tasks.

研究の動機と目的

• 専門家デモンストレーションにおける時系列に相関するノイズ（TCN）によって生じる混同の問題を形式化すること。
• インタラクティブな専門家クエリや真の専門家方策へのアクセスを必要としない一貫性のある模倣学習アルゴリズムの開発。
• 道具変数回帰（IVR）を用いて、TCN下での方策回復の理論的性能バインディングを提供すること。
• シミュレーテッド制御環境における提案手法の実証的検証および、TCNの持続性が学習性能に与える影響の評価。

提案手法

• 著者たちは、TCNを複数のタイムステップに影響を与える観測不能な交絡要因としてモデル化し、状態と行動の間の誤った相関を生じさせる。
• 歴史的状態を道具変数として用い、将来の交絡要因とは独立であるという事実を活用して、学習プロセスの混同を解消する。
• DoubILは、過去の状態から再シミュレーションすることでサンプル複雑性を低減する生成モデルアプローチである。
• ResiduILは、シミュレータを必要としないゲーム理論的で、2人プレイヤーのミニマックスフレームワークにおける残差の最小化により方策を推定する手法である。
• 両手法は現代の道具変数回帰（IVR）に基づいており、統一的な理論的導出により共通の構造を示している。
• 理論的バインディングは、不適切さの度合いを測る条件数 $\kappa(\Pi)$ を用いて導出され、TCN下では性能が $\sqrt{\epsilon}T^2$ のスケーリングに従うことが示されている。

実験結果

リサーチクエスチョン

• RQ1 行動コーディングとIVRベースの手法の単純な比較により、専門家デモンストレーションデータに時系列に相関するノイズが存在するかどうかを検出可能か？
• RQ2 時系列に相関するノイズの持続性が、模倣学習アルゴリズムの性能と安定性にどのように影響するか？
• RQ3 過去の状態は、観測不能な交絡要因によって引き起こされる状態-行動相関を解消する有効な道具変数として機能可能か？
• RQ4 DoubILおよびResiduILは、インタラクティブな専門家アクセスがなくても、TCN下で専門家方策と価値同等に達成可能か？
• RQ5 条件数 $\kappa(\Pi)$ と、学習済み方策と専門家方策の間の性能ギャップとの理論的関係は何か？

主な発見

• DoubILおよびResiduILは、LunarLander-v2において、混同を除去した専門家方策 $\mathbb{E}[a|do(s)]$ を、特に低データレジームで行動コーディングを著しく上回る性能で再現する。
• HalfCheetahBulletEnvおよびAntBulletEnvでは、十分なデータ量があれば両手法が専門家性能にほぼ一致するが、行動コーディングはTCN下で専門家方策に収束しない。
• 交絡要因の持続性が高くなるほど、行動コーディングとIVRベースの手法との性能ギャップが理論的バインディングに予測されるように増大する。
• 実証的検証により、$\mathbb{E}[u|s] = \pi_{BC}(s) - \pi_{IV}(s)$ が成立し、モデル比較による混同の検出が可能であることが確認された。
• 条件数 $\kappa(\Pi;H)$ は、交絡要因の持続するタイムステップ数 $H$ が増加するにつれて増大し、不適切さが増大し、潜在的な性能ギャップが大きくなることを示唆する。
• 理論的分析により、専門家方策と学習済み方策の間の性能ギャップが $c\kappa(\Pi)\sqrt{\epsilon}T^2$ でバインドされることを示し、TCN下での一貫性に関する形式的保証が得られた。