[논문 리뷰] D$^3$FlowSLAM: Self-Supervised Dynamic SLAM with Flow Motion Decomposition and DINO Guidance

Xingyuan Yu, Weicai Ye외 6명|arXiv (Cornell University)|2022. 07. 18.

Advanced Vision and Imaging인용 수 11

한 줄 요약

이 논문은 자기지도학습(dynamic SLAM) 시스템인 DeFlowSLAM을 제안하며, 이는 이중 흐름 표현을 통해 광학 흐름을 정적(카메라 운동) 및 동적(객체 운동) 구성요소로 분해한다. 마스크-집계(Mask-Agg)를 통한 막힘 인식 전략과 자기지도학습 최적화를 활용함으로써, DeFlowSLAM은 고도로 동적인 환경에서 DROID-SLAM보다 뛰어난 성능을 보이며, 정적 환경에서도 경쟁 가능한 정확도를 유지한다.

ABSTRACT

In this paper, we introduce a self-supervised deep SLAM method that robustly operates in dynamic scenes while accurately identifying dynamic components. Our method leverages a dual-flow representation for static flow and dynamic flow, facilitating effective scene decomposition in dynamic environments. We propose a dynamic update module based on this representation and develop a dense SLAM system that excels in dynamic scenarios. In addition, we design a self-supervised training scheme using DINO as a prior, enabling label-free training. Our method achieves superior accuracy compared to other self-supervised methods. It also matches or even surpasses the performance of existing supervised methods in some cases. All code and data will be made publicly available upon acceptance.

연구 동기 및 목표

• 단안 밀도 SLAM에서 동적 객체 간섭 문제를 해결하여 자세 추정 및 매핑 정확도를 향상시키기.
• 기존 SLAM 시스템이 동적 픽셀을 기각하거나 Mask R-CNN와 같은 무거운 검출 모델에 의존하는 한계를 극복하기.
• 자세, 깊이, 흐름에 대한 진짜 레이블이 필요 없이 자기지도학습 프레임워크를 통해 동적 SLAM 시스템을 훈련시키기.
• 정적 및 동적 운동 구성요소를 별도로 명시적으로 모델링하여 고도로 동적인 환경에서 안정적인 카메라 자세 및 깊이 추정을 가능하게 하기.
• 정적 및 고도로 동적인 환경 모두에서 뛰어난 성능을 발휘하며, 움직이는 객체가 있는 실제 AR 애플리케이션에도 적용 가능하게 하기.

제안 방법

• 카메라 운동에 의해 유도되는 정적 흐름 필드와 객체 운동에 의해 유도되는 동적 흐름 필드로 광학 흐름을 분해하는 이중 흐름 표현 방식을 도입하여 인간의 시각 인지 방식을 모방한다.
• 현재 프레임에서 인접 프레임으로의 영상 왜곡을 통해 정적 및 동적 흐름 필드를 추정하며, 총 흐름은 이들의 합으로 표현된다.
• ConvGRU를 사용해 반복적으로 동적 마스크를 정밀화하는 동적 업데이트 모듈을 설계하며, 막힘으로 인한 잘못된 정렬을 줄이기 위해 마스크-집계(Mask-Agg) 연산자를 통합한다.
• 정밀화된 동적 마스크와 추정된 가중치를 조합하여 흐름 잔차, 카메라 자세, 역깊이를 동시에 최적화하는 밀도 기반 벤들 조정(DBA) 레이어를 통합하며, 자기지도학습 방식으로 최적화한다.
• 자기지도학습 훈련 목표에서 기능 매칭과 일관성을 향상시키기 위해 DINO 특징을 활용한다.
• 진짜 레이블이 필요 없이 광학 일致성 손실을 사용해 전체 시스템을 엔드 투 엔드로 자기지도학습 방식으로 훈련한다.

실험 결과

연구 질문

• RQ1 표준 흐름 추정 대비 이중 흐름 표현 방식이 동적 환경에서 SLAM의 강인성 향상에 기여하는가?
• RQ2 진짜 레이블이 없을 경우 자기지도학습 훈련 철학이 동적 밀도 SLAM에 얼마나 효과적인가?
• RQ3 동적 운동 분해와 막힘 인식 마스크 정밀화가 고도로 동적인 환경에서 드리프트를 줄이고 자세 정확도를 향상시키는가?
• RQ4 상위 수준의 SLAM 시스템들과 비교해 DeFlowSLAM이 정적, 동적, 도전적인 AR 시나리오 전반에 걸쳐 얼마나 잘 일반화되는가?
• RQ5 이중 흐름 표현 방식이 추가 훈련 없이도 운동 세그멘테이션에 효과적으로 재사용될 수 있는가?

주요 결과

• 단안 설정에서 EuRoC 데이터셋에서 DeFlowSLAM은 평균 ATE 0.136m를 기록하며, 대부분의 지도학습 방법을 능가하며 강력한 일반화 능력을 입증한다.
• TUM-RGBD 정적 시퀀스에서 DeFlowSLAM은 평균 ATE 0.114m를 기록하며, 최첨단 기술인 DROID-SLAM을 초월한다.
• 고도로 동적인 KITTI 시퀀스 09에서 DeFlowSLAM은 DROID-SLAM이 큰 드리프트를 보이는 것과는 대조적으로 뚜렷이 뛰어난 성능을 보이며, 동적 환경에서의 강인성을 확인한다.
• Virtual KITTI2 데이터셋에서 DeFlowSLAM은 운동 세그멘테이션 mIoU 점수를 각각 VK01: 0.538585, VK02: 0.528356, VK18: 0.739282로 기록하며 강력한 운동 세그멘테이션 능력을 입증한다.
• 스테레오 SLAM 환경에서 DeFlowSLAM은 TartanAir 스테레오 테스트 세트에서 평균 ATE 1.02m를 기록하며, TartanVO를 능가하고 DROID-SLAM과 동등한 성능을 보인다.
• AR 애플리케이션에서 DeFlowSLAM은 움직이는 간섭 요소가 존재하더라도 카메라 추적과 가상 오브제 렌더링을 안정적으로 수행하는 데 성공했으며, DROID-SLAM은 심각한 드리프트 문제를 겪는다.