[논문 리뷰] Particle Filter Networks with Application to Visual Localization

Péter Karkus, David Hsu외 1명|arXiv (Cornell University)|2018. 05. 23.

Target Tracking and Data Fusion in Sensor Networks참고 문헌 46인용 수 19

한 줄 요약

이 논문은 순차적 상태 추정을 위한 확률적 시스템 모델과 파article 필터 알고리즘을 동시에 학습하는 미분 가능한 신경망인 파티클 필터 네트워크(PF-net)를 소개한다. PF-net은 시각적 국소화 작업에서 전통적인 모델 기반 방법과 다른 학습 아키텍처를 능가하며, 고차원의 시각 입력과 2D 평면도를 포함한 복잡한 환경에서도 효과적으로 일반화된다.

ABSTRACT

Particle filtering is a powerful approach to sequential state estimation and finds application in many domains, including robot localization, object tracking, etc. To apply particle filtering in practice, a critical challenge is to construct probabilistic system models, especially for systems with complex dynamics or rich sensory inputs such as camera images. This paper introduces the Particle Filter Network (PFnet), which encodes both a system model and a particle filter algorithm in a single neural network. The PF-net is fully differentiable and trained end-to-end from data. Instead of learning a generic system model, it learns a model optimized for the particle filter algorithm. We apply the PF-net to a visual localization task, in which a robot must localize in a rich 3-D world, using only a schematic 2-D floor map. In simulation experiments, PF-net consistently outperforms alternative learning architectures, as well as a traditional model-based method, under a variety of sensor inputs. Further, PF-net generalizes well to new, unseen environments.

연구 동기 및 목표

• 카메라 이미지와 같은 고차원 관측 공간에서 순차적 상태 추정을 위한 복잡한 확률적 시스템 모델을 학습하는 데 도전한다.
• 시각적 국소화 작업에서 수작업으로 설계된 관측 모델이 필요한 전통적인 모델 기반 접근 방식의 한계를 극복한다.
• 파티클 필터링을 위해 특별히 최적화된 상태 전이 모델과 관측 모델을 동시에 학습할 수 있도록 엔드 투 엔드 학습을 가능하게 한다.
• 시각적 특징과 의미 있는 레이블이 부여된 개략적 2D 평면도를 활용하여 시각적 국소화의 강건성과 일반화 능력을 향상시킨다.
• PF-net이 모호하고 부분적인 관측을 효과적으로 처리하고 고차원 연속 상태 공간으로 확장될 수 있는지 확인한다.

제안 방법

• 파티클 필터 알고리즘을 미분 가능한 계산 그래프로 통합한 순환 신경망(RNN) 아키텍처를 설계한다.
• 신경망 내부에 학습 가능한 확률적 상태 전이 모델과 관측 모델을 통합하며, 파티클 필터의 예측 및 갱신 단계를 미분 가능한 연산으로 구현한다.
• 시간에 따라 역전파(BPTT)를 사용하여 전체 네트워크를 엔드 투 엔드로 학습하며, 예측된 믿음 상태와 진짜 믿음 상태 간의 차이를 최소화하는 손실 함수를 최적화한다.
• 학습을 안정화하고 고도의 불확실성 하에서 성능을 향상시키기 위해 미분 가능한 재표본화 기법(소프트-리샘플링)을 사용한다.
• RGB 카메라와 깊이 카메라 등의 다중 모odal 센서 입력 및 의미 맵 특징(예: 문, 방 유형)을 네트워크의 입력 채널로 통합한다.
• 로봇이 2D 평면도만을 사용하여 3D 세계에서 국소화해야 하는 House3D 시뮬레이션 환경을 활용하여 네트워크를 적용한다.

실험 결과

연구 질문

• RQ1 신경망이 엔드 투 엔드로 시스템 모델과 파티클 필터 알고리즘을 동시에 학습시켜 시각적 국소화 성능을 향상시킬 수 있는가?
• RQ2 PF-net의 엔드 투 엔드 학습이 기존의 모델 기반 방법에 비해 미사용 환경으로의 일반화 성능을 향상시키는가?
• RQ3 의미 있는 맵 정보(예: 방 유형, 문 등)의 포함 여부가 PF-net의 국소화 정확도에 어떤 영향을 미치는가?
• RQ4 소프트-리샘플링 및 다중 스텝 역전파와 같은 다양한 학습 전략이 PF-net 성능에 미치는 영향은 무엇인가?
• RQ5 PF-net이 글로벌 국소화 작업에서 높은 초기 불확실성과 노이즈가 많은 오도메트리 데이터를 효과적으로 처리할 수 있는가?

주요 결과

• PF-net은 RGB 및 깊이 입력을 사용할 때 반구역 국소화에서 79%의 성공률을 기록하며 전통적인 모델 기반 파티클 필터링 방법을 항상 능가했다.
• 1,000개의 파티클을 사용할 경우, 단일 방에 균일한 초기 믿음 상태에서 글로벌 국소화 성공률이 75%였으며, 두 방에 걸쳐 있는 초기 믿음 상태일 경우 79%로 증가했다.
• 의미 맵 특징(예: 문, 방 카테고리)을 통합함으로써 국소화 성능이 향상되었으며, 소프트-리샘플링을 사용할 경우 고도의 불확실성 하에서도 성공률이 39%에서 42%로 상승했다.
• 여러 시간 단계(4단계)에 걸쳐 역전파를 수행함으로써 성능이 79% 성공률로 향상되었으며, 이는 향후 손실 신호가 현재 상태 추정에 기여함을 시사한다.
• 기존 연구에서 제안된 확률적 손실 함수로 교체할 경우 표준 트래킹 작업에서는 성능이 저하되었음(74% 대 79%) 하지만 고도의 불확실성 하에서는 성능 향상이 있었음(67% 대 39%), 이는 손실 함수 설계 시의 상충 관계를 시사한다.
• PF-net은 기존에 본 적 없는 환경으로의 일반화 능력이 뛰어나 훈련 중에 볼 수 없었던 레이아웃에서도 높은 성능을 유지했다.