[논문 리뷰] Causal Navigation by Continuous-time Neural Networks

Charles Vorbach, Ramin Hasani외 3명|arXiv (Cornell University)|2021. 06. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 85인용 수 25

한 줄 요약

이 논문은 인과 구조를 갖는 연속시간 신경망(liquid time-constant networks, LTCs)을 도입하여 비주얼 입력으로부터 인과 표현을 학습하고 드론 내비게이션을 위한 폐쇄 루프 태스크에서 전통적인 RNN보다 우수한 강건성을 보임을 보여준다.

ABSTRACT

Imitation learning enables high-fidelity, vision-based learning of policies within rich, photorealistic environments. However, such techniques often rely on traditional discrete-time neural models and face difficulties in generalizing to domain shifts by failing to account for the causal relationships between the agent and the environment. In this paper, we propose a theoretical and experimental framework for learning causal representations using continuous-time neural networks, specifically over their discrete-time counterparts. We evaluate our method in the context of visual-control learning of drones over a series of complex tasks, ranging from short- and long-term navigation, to chasing static and dynamic objects through photorealistic environments. Our results demonstrate that causal continuous-time deep models can perform robust navigation tasks, where advanced recurrent models fail. These models learn complex causal control representations directly from raw visual inputs and scale to solve a variety of tasks using imitation learning.

연구 동기 및 목표

• 비전 기반 제어에서 도메인 시프트 하에서도 일반화되는 인과 표현 학습의 필요성을 제시한다.
• 개입을 모델링하기 위한 프레임워크로서 인과 구조를 갖는 연속시간 신경망(LTCs)을 제안한다.
• 고차원 시각 드론 내비게이션 태스크를 통해 LTC 기반 모델이 인과 의존성을 포착함을 보여준다.
• 수동적 및 활성(폐쇄 루프) 설정에서 LTC 기반 모델을 전통적인 이산-시간 및 연속-시간 기준선과 비교한다.

제안 방법

• LTC 역학을 동적 인과 모델(DCMs)에 연결하여 연속시간 신경망 내의 인과 구조를 공식화한다.
• 해석 가능한 개입을 갖는 liquid time-constant networks(LTCs)를 구성하기 위해 Neural ODE의 쌍선형(bilinear, DCM에서 영감을 얻은) 근사를 사용한다.
• 표준 Neural ODE가 인과적이지 않다고 주장하고, 반면 LTCs는 학습된 매개변수를 통해 내부 및 외부 개입을 가능하게 한다.
• LTC 해의 고유성을 활용하여 인과 매핑을 얻기 위해 어드조인트(adjoints)나 BPTT와 같은 기울기 기반 방법으로 LTC를 학습한다.
• 포토리얼리스틱한 드론 내비게이션 태스크에서 엔드투엔드 모방 학습으로 학습된 LTC 기반 정책을 평가한다.

실험 결과

연구 질문

• RQ1 인과 구조를 갖는 연속시간 신경망(LTCs)이 고차원 시각 입력으로부터 개입 및 인과 매핑을 학습할 수 있는가?
• RQ2 전통적 모델이 실패하는 포토리얼리스틱 환경에서 LTC 기반 모델이 강건하고 해석 가능한 폐쇄 루프 내비게이션을 제공하는가?
• RQ3 가림 및 환경 요동 하에서 정적 및 동적 타깃 추적에서 LTCs가 ODE-RNN, LSTM, CT-GRU와 어떻게 비교되는가?

주요 결과

• LTC 기반 모델들(Neural Circuit Policies)은 원시 비전으로부터 직접 대상에 대한 인과적 주의를 학습하고 이를 시간에 걸쳐 유지할 수 있으며, 이는 다른 모델과 다르다.
• 폐쇄 루프 테스트에서 LTC 기반 모델은 정적 타깃, 이동 타깃 추적, 마커 기반 하이킹 작업에서 LSTM, ODE-RNN, CT-GRU 기준선보다 더 높은 성공률을 달성한다.
• NCPs는 비인과 모델보다 비가 올 때, 안개 등 환경 교란에 대해 더 큰 강건성을 보여준다.
• 이산화된 CNN은 가림 하에서 시간 의존성을 활용하지 못하는 반면, LTC 기반 모델은 도전적인 시각 장면에서 성능을 유지한다.
• 이론적 결과는 LTC가 고유한 해를 제공하고 명시적인 개입 계수를 통해 순전파 및 역전파에서 동적 인과 모델링을 가능하게 함을 보여준다.