[논문 리뷰] Differentiable Particle Filters: End-to-End Learning with Algorithmic Priors

Rico Jonschkowski, Divyam Rastogi외 1명|arXiv (Cornell University)|2018. 05. 28.

Hydrological Forecasting Using AI인용 수 4

한 줄 요약

이 논문은 학습 가능한 운동 모델과 측정 모델을 갖춘, 미분 가능한 엔드 투 엔드 훈련이 가능한 입자 필터 알고리즘의 미분 가능한 구현인 Differentiable Particle Filters(DPFs)를 소개한다. 재귀 베이지안 추론 구조를 알고리즘 사전 지식으로 코딩함으로써, DPFs는 LSTMs보다 약 80% 낮은 오차율과 뛰어난 일반화 성능을 달성하면서도, 입자 필터의 본질적인 확률적 프레임워크를 활용해 해석 가능하고 데이터 효율적인 성능을 유지한다.

ABSTRACT

We present differentiable particle filters (DPFs): a differentiable implementation of the particle filter algorithm with learnable motion and measurement models. Since DPFs are end-to-end differentiable, we can efficiently train their models by optimizing end-to-end state estimation performance, rather than proxy objectives such as model accuracy. DPFs encode the structure of recursive state estimation with prediction and measurement update that operate on a probability distribution over states. This structure represents an algorithmic prior that improves learning performance in state estimation problems while enabling explainability of the learned model. Our experiments on simulated and real data show substantial benefits from end-to- end learning with algorithmic priors, e.g. reducing error rates by ~80%. Our experiments also show that, unlike long short-term memory networks, DPFs learn localization in a policy-agnostic way and thus greatly improve generalization. Source code is available at https://github.com/tu-rbo/differentiable-particle-filters .

연구 동기 및 목표

• 로봇 상태 추정을 위한 엔드 투 엔드 학습에서의 데이터 비효율성과 낮은 일반화 능력 문제를 해결하기 위해.
• 특히 입자 필터의 구조를 알고리즘 사전 지식으로 통합하여 성능 향상과 설명 가능성 향상을 도모하기 위해.
• 입자 필터 알고리즘을 통해 역전파를 수행할 수 있도록 운동 모델과 측정 모델을 엔드 투 엔드로 훈련시키기 위해.
• 일반적인 RNN인 LSTMs와 비교해 알고리즘 사전 지식이 데이터 효율성과 정책 변화에 대한 강건성 향상에 기여하는지 검증하기 위해.
• KITTI 데이터셋을 사용하여 시뮬레이션 및 실세계 시각 온도메트리 작업에서 본 방법의 유효성을 검증하기 위해.

제안 방법

• DPFs는 표준 입자 필터 알고리즘을 미분 가능한 형태로 구현하여 예측 및 측정 업데이트 단계를 통해 역전파가 가능하도록 한다.
• 운동 모델은 입자를 시간에 따라 진동시키는 미분 가능한 함수로 파arameter화되며, 기울기 하강법을 통해 최적화되는 학습 가능한 매개변수를 갖는다.
• 측정 모델은 관측 가능성에 기반해 입자 가중치를 계산하며, 미분 가능한 관측 인코더와 학습 가능한 가능성 추정기로 구성된다.
• 전체 시스템은 상태 추정 성능에 대한 최대우도 추정을 사용해 엔드 투 엔드로 훈련되며, 간접 목표 함수가 아닌 실제 성능 기반으로 학습된다.
• 입자 재표본화는 Gumbel-Softmax 변환을 통해 미분 가능하게 구현되어 재표본화 연산을 통한 기울기 흐름을 허용한다.
• 이 방법은 1차 동역학 모델과 학습 가능한 액션 샘플러를 사용해 운동 노이즈를 생성하며, 시각 온도메트리의 경우 초기 상태가 알려져 있다.

실험 결과

연구 질문

• RQ1 모델의 정확도를 향상시키기 위해 훈련하는 것과 비교해, 입자 필터 모델의 엔드 투 엔드 훈련이 상태 추정 성능 향상에 기여하는가?
• RQ2 입자 필터의 재귀 베이지안 구조를 알고리즘 사전 지식으로 코딩함으로써 데이터 효율성과 일반화 능력 향상이 가능할까?
• RQ3 실세계 시각 온도메트리 작업에서 DPF의 성능이 LSTMs나 Backprop Kalman Filter(BKF)와 비교해 어떻게 나타나는가?
• RQ4 엔드 투 엔드 최적화를 통해 DPFs는 필터링 성능 향상을 위한 히ュ리스틱으로 알려진 불확실성 과대평가를 학습할 수 있는가?
• RQ5 알고리즘 사전 지식은 정책에 종속되지 않는 일반화를 가능하게 하는가? 즉, 훈련 시 사용되지 않은 제어 정책에서도 모델이 잘 작동하는가?

주요 결과

• DPFs는 로컬라이제이션 작업에서 LSTMs보다 약 80% 낮은 오차율을 기록한다.
• 동일한 오차율을 달성하기 위해 DPFs는 LSTMs보다 약 87% 적은 훈련 데이터가 필요하여 뛰어난 데이터 효율성을 입증한다.
• 새로운 제어 정책에 대해 DPFs는 안정적인 일반화 성능를 보이며, LSTMs는 훈련 시 사용된 정책과 다를 경우 실패한다.
• KITTI 시각 온도메트리 벤치마크에서 DPFs는 짧은 시퀀스(100단계)에서 이동 오차를 약 30% 감소시켜 Backprop Kalman Filter(BKF)를 능가한다.
• DPFs가 긴 尾 distribution을 표현할 수 있다는 점이, BKF와 같은 가우시안 기반 필터보다 성능 향상에 기여한 것으로 보인다.
• DPFs를 통한 엔드 투 엔드 훈련은 기존 로봇 공학 원칙과 일치하는 바, 불확실성 과대평가 히ュ리스틱을 자연스럽게 회복함으로써 방법의 타당성을 입증한다.