[논문 리뷰] EMPNet: Neural Localisation and Mapping Using Embedded Memory Points

Gil Avraham, Yan Zuo외 2명|arXiv (Cornell University)|2019. 07. 31.

Robotics and Sensor-Based Localization참고 문헌 45인용 수 6

한 줄 요약

EMPNet는 임bedded memory 포인트를 사용하여 동시에 국소화 및 맵핑을 위한 엔드 투 엔드 훈련 가능한 신경망을 제안한다. 여기서 RGB-D 시퀀스로부터 유도된 3D 포인트 임베딩은 조밀한 대응 매칭을 통해 재귀적이고 공간적으로 일관된 기억으로 정렬된다. 이 방법은 시뮬레이션 환경(VIZDoom)과 실제 환경(Active Vision Dataset) 모두에서 최신 기술 수준의 성능을 달성하며, 이전 방법 대비 평균 위치 오차를 30퍼센트 이상 감소시킨다.

ABSTRACT

Continuously estimating an agent's state space and a representation of its surroundings has proven vital towards full autonomy. A shared common ground among systems which successfully achieve this feat is the integration of previously encountered observations into the current state being estimated. This necessitates the use of a memory module for incorporating previously visited states whilst simultaneously offering an internal representation of the observed environment. In this work we develop a memory module which contains rigidly aligned point-embeddings that represent a coherent scene structure acquired from an RGB-D sequence of observations. The point-embeddings are extracted using modern convolutional neural network architectures, and alignment is performed by computing a dense correspondence matrix between a new observation and the current embeddings residing in the memory module. The whole framework is end-to-end trainable, resulting in a recurrent joint optimisation of the point-embeddings contained in the memory. This process amplifies the shared information across states, providing increased robustness and accuracy. We show significant improvement of our method across a set of experiments performed on the synthetic VIZDoom environment and a real world Active Vision Dataset.

연구 동기 및 목표

• 과거 관측을 공유되고 일관된 기억 표현으로 통합함으로써 지속적인 공간 인식을 가능하게 하는 신경 프레임워크를 개발하는 것.
• RGB-D 데이터를 활용하여 동적인 실제 환경에서의 강건한 국소화 및 장면 표현에 도전하는 것.
• 시퀀스 전반에 걸쳐 포인트 임베딩을 공동 최적화하여 장기 항로 탐색에서의 일반화 및 정확도를 향상시키는 것.
• 학습된 임베딩을 통한 기하학적 일관성을 활용하여 시각적 국소화에서 오차 누적 문제를 줄이는 것.
• 관측 간의 구조적 정렬을 유지하면서 메모리 증강 시스템을 엔드 투 엔드로 훈련할 수 있도록 하는 것.

제안 방법

• 이 방법은 RGB-D 관측에서 유도된 3D 포인트 임베딩을 저장하는 단기 공간 기억 모듈(SSMM)을 사용하며, 각 포인트는 학습된 임베딩 벡터와 연관된다.
• 포인트 임베딩은 CNN를 통해 추출되어 깊이 포인트에 투영되며, 장면의 조밀하고 구조화된 표현을 형성한다.
• 교차 엔트로피 최적화를 사용하여 새로운 관측과 저장된 임베딩 간의 조밀한 대응 행렬을 계산함으로써 상대 자세 추정이 가능해진다.
• 시스템은 SSMM 내 임베딩의 재귀적 공동 최적화를 수행하여 공유 정보를 통해 구조적 일관성과 강건성을 향상시킨다.
• 프레임워크는 엔드 투 엔드로 훈련되며, 자세 추정과 임베딩 개선이 미분 가능한 대응 매칭을 통해 공동 최적화된다.
• 실제 노이즈가 많은 데이터에서의 강건성을 향상시키기 위해 자세 감독을 통한 정규화(EMP-Net-Pose)가 적용된다.

실험 결과

연구 질문

• RQ1 차별화 가능한 메모리 증강 아키텍처를 통해 신경망이 국소화와 맵핑을 공동 최적화할 수 있는가?
• RQ2 학습된 포인트 임베딩이 RGB-D 관측의 장기적인 시퀀스에 걸쳐 얼마나 효과적으로 구조적 정렬을 유지할 수 있는가?
• RQ3 고정되거나 최적화되지 않은 표현에 비해 엔드 투 엔드로 훈련된 임베딩이 국소화 정확도를 얼마나 향상시키는가?
• RQ4 이 방법은 실제 환경의 장기적 시퀀스와 도전적인 베이스라인에 대해 얼마나 잘 일반화되는가?
• RQ5 복잡하고 텍스처가 적은 환경에서, 임베딩 간의 조밀한 대응 매칭이 흩어진 또는 기하학적 방법에 비해 우월한가?

주요 결과

• Active Vision Dataset에서 EMP-Net은 50프레임 시퀀스에 대해 평균 위치 오차(APE)를 1150 mm로 줄였으며, ORB-SLAM2(3090 mm), DeepVO(1690 mm), MapNet(1680 mm), ENG(1582 mm)를 모두 앞서나갔다.
• 자세 정규화를 적용한 EMP-Net-Pose는 50프레임 시퀀스에서 APE 1150 mm, ATE 360 mm를 기록했으며, 다음으로 우수한 베이스라인인 MapNet(ATE 601 mm)을 크게 앞서나갔다.
• VIZDoom 시뮬레이션 환경에서 EMP-Net은 증가하는 카메라 기준거리에 걸쳐 뛰어난 성능을 보였으며, 더 낮은 오차와 더 높은 대응 신뢰도를 확보했다.
• SSMM 내 학습된 임베딩은 명시적 감독 없이도 k-means 클러스터링을 통해 공간적 및 의미적 클러스터링의 혼합을 보였다.
• 신뢰도 히트맵 분석 결과, 시스템은 식별 가능한 랜드마크(예: 계단, 출입구)에는 높은 신뢰도를, 텍스처가 적은 영역(예: 벽, 바닥)에는 낮은 신뢰도를 할당했다.
• 증가하는 카메라 기준거리에 대해서도 높은 성능 유지로 인해 큰 시점 변화에 대해 강건함을 입증했다.