[논문 리뷰] Particle Filter Networks: End-to-End Probabilistic Localization From Visual Observations.

Péter Karkus, David Hsu외 1명|arXiv (Cornell University)|2018. 05. 23.

Human Pose and Action Recognition참고 문헌 23인용 수 6

한 줄 요약

이 논문은 시각적 국소화를 위한 확률적 시스템 모델과 파article 필터 추론 알고리즘을 동시에 끝에서 끝까지 학습하는 신경망 아키텍처인 파article 필터 네트워크(PF-nets)를 소개한다. 파article 필터의 순차적 베이지안 업데이트를 딥러닝과 통합함으로써, 기존의 전통적인 모델 기반 방법과 다른 학습 아키텍처에 비해 시각적 국소화 작업에서 뛰어난 성능을 달성한다.

ABSTRACT

Particle filters sequentially approximate posterior distributions by sampling representative points and updating them independently. The idea is applied in various domains, e.g. reasoning with uncertainty in robotics. A remaining challenge is constructing probabilistic models of the system, which can be especially hard for complex sensors, e.g. a camera. We introduce the Particle Filter Networks (PF-nets) that encode both a learned probabilistic system model and the particle filter algorithm in a single neural network architecture. The unified representation allows learning models end-to-end, circumventing the difficulties of conventional model-based methods. We applied PF-nets to a challenging visual localization task that requires matching visual features from camera images with the geometry encoded in a 2-D floor map. In preliminary experiments end-to-end PF-nets consistently outperformed alternative learning architectures, as well as conventional model-based methods.

연구 동기 및 목표

• 로봇에서 카메라와 같은 복잡한 센서를 위한 정확한 확률적 시스템 모델을 설계하는 데 어려움을 해결하기 위해.
• 수동으로 설계된 시스템 모델과 관측 모델이 필요한 기존의 모델 기반 방법의 한계를 극복하기 위해.
• 시각 데이터로부터 시스템 역학 모델과 관측 모델을 끝에서 끝까지 학습할 수 있도록 하기 위해.
• 통합된 아키텍처에서 파article 필터링과 딥러닝을 융합함으로써 시각적 국소화 성능을 향상시키기 위해.

제안 방법

• PF-nets는 파article 필터의 순차적 중요도 재표본화 과정을 미분 가능한 신경망 아키텍처에 통합한다.
• 네트워크는 시각적 관측을 처리하기 위해 컨볼루션 기반 백본을 통해 상태 추정을 위한 특징을 추출한다.
• 입자들은 임bedded 벡터로 표현되며, 파article 필터의 예측 및 업데이트 단계를 모방하는 미분 가능한 연산을 통해 업데이트된다.
• 시스템은 파article 필터의 연산을 통해 역전파를 통해 끝에서 끝까지 상태 전이 모델과 관측 모델을 학습한다.
• 입자 다양성을 유지하고 추론 중 열화를 방지하기 위해, 미분 가능한 재표본화 메커니즘이 사용된다.
• 전체 아키텍처는 국소화 정확도를 최적화하는 미분 가능한 손실 함수를 사용해 끝에서 끝까지 훈련된다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 시각적 국소화를 위한 시스템 역학 모델과 관측 모델을 미분 가능하고 끝에서 끝까지 통합적으로 학습할 수 있는가?
• RQ2 끝에서 끝까지 학습된 파article 필터의 성능는 기존의 모델 기반 파article 필터링과 비교해 어떻게 되는가?
• RQ3 손으로 설계된 모델 없이도 PF-nets는 복잡한 시각 입력과 기하학적 지도 구조에 일반화할 수 있는가?
• RQ4 미분 가능한 파article 필터링은 국소화 정확도와 내구성에 어떤 영향을 미치는가?

주요 결과

• PF-nets는 시각적 국소화 작업에서 다른 학습 기반 아키텍처에 비해 일관된 성능 향상을 달성했다.
• PF-nets의 끝에서 끝까지 훈련은 수동으로 설계된 시스템 모델과 관측 모델이 필요 없음을 제거하여 모델 설계를 단순화시켰다.
• PF-nets는 기존의 모델 기반 파article 필터링 방법을 능가했으며, 수동으로 설계된 모델보다 학습된 모델의 우수성을 입증했다.
• 통합된 아키텍처는 예비 실험을 통해 도전적인 시각 조건에서도 견고한 추론을 가능하게 했다.