[논문 리뷰] DynaNet: Neural Kalman Dynamical Model for Motion Estimation and Prediction

Changhao Chen, Chris Xiaoxuan Lu외 3명|arXiv (Cornell University)|2019. 08. 11.

Robotics and Sensor-Based Localization참고 문헌 60인용 수 7

한 줄 요약

DynaNet는 깊이 신경망을 통한 특징 추출과 시간에 따라 변하는 상태공간 모델을 결합하여 강건한 운동 추정 및 예측을 위한 엔드 투 엔드 미분 가능한 신경 칼만 동적 모델을 제안한다. 잠재 특징에 대해 학습 가능한 칼만 필터를 통합함으로써, 시각적 오도메트리, 시각-자기관성 내비게이션, 운동 예측 분야에서 최신 기술 수준의 성능를 달성하며, 혁신 분석을 통한 불확실성 추정 및 고장 탐지 기능도 제공한다.

ABSTRACT

Dynamical models estimate and predict the temporal evolution of physical systems. State Space Models (SSMs) in particular represent the system dynamics with many desirable properties, such as being able to model uncertainty in both the model and measurements, and optimal (in the Bayesian sense) recursive formulations e.g. the Kalman Filter. However, they require significant domain knowledge to derive the parametric form and considerable hand-tuning to correctly set all the parameters. Data driven techniques e.g. Recurrent Neural Networks have emerged as compelling alternatives to SSMs with wide success across a number of challenging tasks, in part due to their ability to extract relevant features from rich inputs. They however lack interpretability and robustness to unseen conditions. In this work, we present DynaNet, a hybrid deep learning and time-varying state-space model which can be trained end-to-end. Our neural Kalman dynamical model allows us to exploit the relative merits of each approach. We demonstrate state-of-the-art estimation and prediction on a number of physically challenging tasks, including visual odometry, sensor fusion for visual-inertial navigation and pendulum control. In addition we show how DynaNet can indicate failures through investigation of properties such as the rate of innovation (Kalman Gain).

연구 동기 및 목표

• 순수 데이터 기반 모델(예: 해석 가능성 부족 및 강건성 부족)과 수작업 설계된 상태공간 모델(예: 높은 튜닝 노력과 유연성 부족)의 한계를 해결하기 위해.
• 깊이 신경망의 특징 표현 능력과 칼만 필터의 물리적 해석 가능성 및 최적 필터링 성능을 결합한 하이브리드 프레임워크를 개발하기 위해.
• 이미지 및 관성 측정 장치(IMU) 데이터와 같은 원시 센서 입력에서 직접 시간에 따라 변하는 상태공간 모델을 엔드 투 엔드로 훈련할 수 있도록 하기 위해.
• 칼만 필터의 특성(예: 혁신률)을 활용하여 불확실성 인식 상태 추정을 제공하고 고장 탐지를 가능하게 하기 위해.
• 시각 오도메트리 및 시각-자기관성 융합과 같은 도전적인 운동 추정 작업에서의 효과성을 입증하기 위해.

제안 방법

• 모델은 이미지 시퀀스에서 시각적 특징을 추출하기 위해 컬러리네어 신경망(CNN) 인코더를 사용하고, 관성 데이터는 양방향 LSTM을 통해 처리하여 잠재 표현을 생성한다.
• 별도의 신경망이 잠재 상태에서 시간에 따라 변하는 전이 행렬 A와 공정 노이즈 공분산 Q를 생성함으로써 동적 시스템 모델링을 가능하게 한다.
• 관측 특징과 그들의 노이즈 공분산 R은 별도의 신경 헤드를 통해 예측되며, 이는 적응형 측정 모델링을 가능하게 한다.
• 잠재 특징 공간에 대해 미분 가능한 칼만 필터를 적용하여 상태와 상태 공분산을 반복적으로 추정함으로써 필터를 통해 역전파가 가능하게 한다.
• 포즈 예측기에서는 완전 연결층을 사용하여 필터링된 잠재 상태를 운동 출력(예: 6D 포즈)으로 디코딩한다.
• 전체 모델은 포즈 추정에 대한 지도 학습 손실을 사용하여 엔드 투 엔드로 훈련되며, 불확실성 및 혁신 지표는 고장 분석에 활용된다.

실험 결과

연구 질문

• RQ1 미분 가능한 칼만 필터가 딥 러닝 아키텍처에 효과적으로 통합되어 운동 추정을 위한 엔드 투 엔드 훈련이 가능한가?
• RQ2 학습된 시간에 따라 변하는 상태공간 모델이 전통적인 수작업 설계된 SSM 또는 순수 DNN 대비 운동 추정 작업에서 얼마나 잘 성능을 내는가?
• RQ3 칼만 필터의 혁신률이 실세계 센서 데이터에서 시스템 고장 또는 불확실성의 신뢰할 수 있는 지표로 기능할 수 있는가?
• RQ4 하이브리드 모델이 시각 오도메트리 및 시각-자기관성 내비게이션에서 얼마나 강건성과 정확도를 향상시키는가?
• RQ5 모델이 새로운 조건으로 일반화하면서도 해석 가능성과 불확실성 인식 능력을 유지할 수 있는가?

주요 결과

• DynaNet는 KITTI 시각 오도메트리 벤치마크에서 순수 DNN 기반 기준 모델과 전통적인 SSM 기반 방법을 모두 능가하는 최신 기술 수준의 성능를 달성한다.
• 불확실성 인식 필터링 메커니즘 덕분에 센서 노이즈와 부분적 가림에 대해 향상된 강건성을 보여준다.
• 시스템 고장 또는 이질성 발생 시 칼만 필터의 혁신률이 크게 증가함을 분석함으로써 고장 탐지 기능이 가능해진다.
• 다양한 시각-자기관성 오도메트리 작업에서 원시 센서 입력을 기반으로 하는 엔드 투 엔드 방식으로 시각 및 관성 데이터를 성공적으로 융합하여 정확도를 향상시켰다.
• 학습된 공정 노이즈 공분산 Q와 시간에 따라 변하는 전이 행렬 A의 사용 덕분에 모델이 변화하는 동역학에 동적으로 적응할 수 있어 장기적 안정성이 향상되었다.
• 정량적 결과로 KITTI 시퀀스에서 기준 모델 대비 절대 궤적 오차(ATE)가 15-20% 향상되었으며, 강건성 향상도 뚜렷하게 관찰되었다.