[論文レビュー] Causal Navigation by Continuous-time Neural Networks

Charles Vorbach, Ramin Hasani+3 more|arXiv (Cornell University)|Jun 15, 2021

Domain Adaptation and Few-Shot Learning参考文献 85被引用数 25

ひとこと要約

本論文は、因果構造を持つ連続時間ニューラルネットワーク（液体時定数ネットワーク：liquid time-constant networks）を用いて、視覚入力から因果表現を学習し、ドローンナビゲーションを実現することを提案し、閉ループタスクにおいて従来のRNNと比較して頑健性が高いことを示している。

ABSTRACT

Imitation learning enables high-fidelity, vision-based learning of policies within rich, photorealistic environments. However, such techniques often rely on traditional discrete-time neural models and face difficulties in generalizing to domain shifts by failing to account for the causal relationships between the agent and the environment. In this paper, we propose a theoretical and experimental framework for learning causal representations using continuous-time neural networks, specifically over their discrete-time counterparts. We evaluate our method in the context of visual-control learning of drones over a series of complex tasks, ranging from short- and long-term navigation, to chasing static and dynamic objects through photorealistic environments. Our results demonstrate that causal continuous-time deep models can perform robust navigation tasks, where advanced recurrent models fail. These models learn complex causal control representations directly from raw visual inputs and scale to solve a variety of tasks using imitation learning.

研究の動機と目的

• Vision-based controlにおけるドメインシフト下で一般化する因果表現の学習を動機づける。
• 介入をモデル化する枠組みとして、因果構造（LTCs）を持つ連続時間ニューラルネットワークを提案する。
• 高次元視覚ドローンナビゲーション任务を通じて、LTCベースのモデルが因果依存を捉えることを示す。
• 受動・閉ループ設定の伝統的な離散時間・連続時間ベースラインとLTCベースモデルを比較する。

提案手法

• LTCダイナミクスを動的因果モデル（DCMs）に関連付けることにより、連続時間ニューラルネットワーク内に因果構造を形式化する。
• Neural ODEの双線形（DCM風）近似を用いて、解釈可能な介入を備えた液体時定数ネットワーク（LTCs）を構築する。
• 標準的な Neural ODE は因果ではなく、LTCs は学習されるパラメータを通じて内部介入と外部介入を可能にする、と主張する。
• LTCs の解の一意性を活用した勾配法（アジョイント法またはBPTT）で LTCs を訓練し、因果写像を得る。
• フォトリアリスティックなドローンナビゲーションタスクにおけるエンドツーエンド模倣学習でLTCベースのポリシーを評価する。

実験結果

リサーチクエスチョン

• RQ1 因果構造を持つ連続時間ニューラルネットワーク（LTCs）は、高次元視覚入力から介入と因果写像を学習できるか。
• RQ2 従来モデルが失敗するフォトリアリスティック環境において、LTCベースのモデルは頑健で解釈可能な閉ループナビゲーションを提供するか。
• RQ3 LTCs は静的・動的ターゲット追跡において、ODE-RNN、LSTM、CT-GRU とどのように比較されるか（遮蔽や環境揺らぎ下で）。

主な発見

• LTCベースのモデル（Neural Circuit Policies）は、生の視覚から直接ターゲットへの因果的注意を学習し、時間とともにそれを維持するのに対し、他のモデルはそうでない。
• 閉ループ試験では、LTCベースのモデルが静的方法標的追跡、動く標的追跡、マーカーを用いたハイキングタスクで、LSTM、ODE-RNN、CT-GRU のベースラインより高い成功率を達成する。
• NCPは、雨や霧といった環境的撹乱に対して非因果モデルより頑健性が高いことを示す。
• 離散化されたCNNは遮蔽下で時間的依存性を活用できない一方で、LTCベースのモデルは難易度の高い視覚シーンでも性能を維持する。
• 理論的結果は、LTCが一意の解と明示的な介入係数を提供し、前向き・逆方向の伝搬における動的因果モデリングを可能にすることを示す。