[논문 리뷰] FlowFusion: Dynamic Dense RGB-D SLAM Based on Optical Flow

Tianwei Zhang, Huayan Zhang외 3명|arXiv (Cornell University)|2020. 03. 11.

Robotics and Sensor-Based Localization참고 문헌 21인용 수 9

한 줄 요약

이 논문은 동적 환경에서 정확한 카메라 운동 추정과 정적 배경 복원을 가능하게 하는 동적 밀도 RGB-D SLAM 시스템인 FlowFusion을 제안한다. 광학 흐름 잔차를 활용하여 정적/동적 영역 분할을 향상시켜, 비정적 또는 알려지지 않은 동적 객체가 존재하는 환경에서도 뛰어난 정확도와 강인성을 달성한다. 광학 흐름을 통해 움직이는 픽셀을 탐지함으로써, 기존 최고 수준의 방법들보다도 더 높은 분할 정확도와 강인성을 확보한다.

ABSTRACT

Dynamic environments are challenging for visual SLAM since the moving objects occlude the static environment features and lead to wrong camera motion estimation. In this paper, we present a novel dense RGB-D SLAM solution that simultaneously accomplishes the dynamic/static segmentation and camera ego-motion estimation as well as the static background reconstructions. Our novelty is using optical flow residuals to highlight the dynamic semantics in the RGB-D point clouds and provide more accurate and efficient dynamic/static segmentation for camera tracking and background reconstruction. The dense reconstruction results on public datasets and real dynamic scenes indicate that the proposed approach achieved accurate and efficient performances in both dynamic and static environments compared to state-of-the-art approaches.

연구 동기 및 목표

• 움직이는 물체로 인해 카메라 운동 추정과 지ap 품질이 악화되는 밀도 있는 RGB-D SLAM 환경에서의 도전 과제를 해결한다.
• 사전 학습된 객체 검출 또는 의미적 세그멘테이션에 의존하지 않기 위해 알려진 객체 카테고리에 의존하지 않는다.
• 광학 흐름 잔차를 활용하여 픽셀 수준에서 운동을 탐지함으로써 동적/정적 영역 분할 정확도를 향상시킨다.
• 움직이는 사람과 물체가 존재하는 상황에서도 정적 환경의 실시간 밀도 있는 복원을 강인하게 가능하게 한다.
• 사전 지식이 필요 없이 다양한 동적 물체에 일반화되는 모델 기반 접근법을 개발한다.

제안 방법

• PWC-Net과 같은 딥 네트워크를 사용하여 연속된 RGB 프레임 간의 광학 흐름을 추정하여 픽셀 수준의 운동을 캡처한다.
• 예측된 워프드 프레임과 진짜 프레임을 비교하여 광학 흐름 잔차를 계산함으로써 운동 불일치를 강조한다.
• 이 잔차를 동적 영역의 대체 지표로 사용하여 움직이는 픽셀에 높은 잔차 값을 할당한다.
• 광학 흐름 잔차 기반 분할을 밀도 있는 RGB-D SLAM 프레임워크(ElasticFusion 기반)에 통합하여 카메라 추적과 복원을 동시에 수행한다.
• 시작 시 자이로스코프 운동 추정을 위해 강성 있는 강성 및 깊이 데이터를 사용한 강인한 카메라 운동 추정기를 적용하고, 분할된 정적 점들을 이용해 반복적으로 정밀화한다.
• 분할된 정적 점들만을 사용하여 정적 배경을 복원하고, 융합 과정에서 동적 영역를 기각한다.

실험 결과

연구 질문

• RQ1 객체 검출이나 의미적 세그멘테이션에 의존하지 않고, 광학 흐름 잔차가 RGB-D 시퀀스에서 동적 영역를 효과적으로 식별할 수 있는가?
• RQ2 광학 흐름 잔차 기반 분할이 운동 세그멘테이션과 장면 흐름 추정과 비교할 때 정확도와 강인성 면에서 어떻게 성능을 내는가?
• RQ3 모델 기반의 흐름 기반 동적 분할 방법이 일반적인 동적 환경에서 학습 기반 객체 검출 방법을 능가할 수 있는가?
• RQ4 광학 흐름 잔차가 매우 동적인 환경에서 카메라 운동 추정과 밀도 있는 복원 품질에 어떤 영향을 미치는가?
• RQ5 복잡하고 예측 불가능한 동적 운동을 보이는 실제 로봇 플랫폼에서 이 방법은 어떻게 성능을 내는가?

주요 결과

• FlowFusion는 TUM RGB-D fr3/walking_xyz 시퀀스에서 ATE 12 cm를 달성하여, 객체 검출에 의존하지 않음에도 불구하고 SF, JF, HRPSlam보다 동적 환경에서 뛰어난 성능을 보였다.
• 테이블과 의자와 같은 움직이는 사람 주변 영역에서 정적 복원 오류를 줄였으며, PoseFusion(PF)는 종종 부착된 물체를 배경으로 잘못 분류하는 경향이 있었다.
• 정적 시퀀스(fr1/xyz 및 fr1/desk2)에서 FlowFusion의 성능은 ElasticFusion 및 기타 EF 기반 방법들과 유사했으며, 정적 조건에서도 강인함을 확인했다.
• FlowFusion는 알려지지 않은 동적 물체에 대해 뛰어난 일반화 성능를 보였고, PF는 인간 얼굴이 보이지 않을 경우(예: 인간형 로봇 플랫폼에서) 실패하는 경향이 있었다.
• 순수한 흐름 기반 방법에 비해 빠른 또는 느린 운동에 덜 민감했지만, 매우 빠른 속도의 운동에서는 흐름 추정 오류로 인해 어려움을 겪었다.
• SLAM 파이프라인에 광학 흐름 잔차를 통합함으로써, 비정적 운동과 부분적인 가림이 있는 환경에서 분할 정확도가 특히 향상되었다.