[논문 리뷰] Semantic Nearest Neighbor Fields Monocular Edge Visual-Odometry

Xiaolong Wu, Assia Benbihi외 2명|arXiv (Cornell University)|2019. 04. 01.

Robotics and Sensor-Based Localization참고 문헌 34인용 수 6

한 줄 요약

이 논문은 외부 환경에서 강력하고 정확한 카메라 운동 추정을 위한 단안 시각 옵오메트리 시스템을 제안한다. 깊이 학습된 의미적 에지와 새로운 의미적 근접 이웃 필드(SNNF)를 활용한다. ICP 기반 에지 정렬 프레임워크에 의미 인식 데이터 연관을 통합함으로써 수렴 반경과 추적 강건성을 크게 향상시켰으며, KITTI 벤치마크에서 최신의 직접적, 간접적, 의미 기반 VO 시스템을 모두 능가한다. 특히 도시 및 고속도로 환경에서 뛰어난 성능을 보였다.

ABSTRACT

Recent advances in deep learning for edge detection and segmentation opens up a new path for semantic-edge-based ego-motion estimation. In this work, we propose a robust monocular visual odometry (VO) framework using category-aware semantic edges. It can reconstruct large-scale semantic maps in challenging outdoor environments. The core of our approach is a semantic nearest neighbor field that facilitates a robust data association of edges across frames using semantics. This significantly enlarges the convergence radius during tracking phases. The proposed edge registration method can be easily integrated into direct VO frameworks to estimate photometrically, geometrically, and semantically consistent camera motions. Different types of edges are evaluated and extensive experiments demonstrate that our proposed system outperforms state-of-art indirect, direct, and semantic monocular VO systems.

연구 동기 및 목표

• 외부 환경에서 수렴 반경이 제한되고 에지 반복성이 낮은 문제를 해결하기 위해.
• 의미 정보를 활용해 에지 기반 VO의 데이터 연관을 향상시켜 더 강건한 추적을 가능하게 하기 위해.
• 실세계 외부 환경에서 자동차 운동 추정에 영향을 주는 다양한 에지 검출 방법—특히 딥 네트워크에서 학습된 에지와 전통적인 Canny 에지—의 상대적 영향을 평가하기 위해.
• 대규모이며 광학적, 기하학적, 의미적으로 일관된 3D 의미적 에지 지도를 재구성할 수 있는 시스템을 개발하기 위해.
• 도시 및 고속도로 환경과 같은 도전적인 외부 환경에서 최신의 단안 VO 시스템을 능가하는 성능을 입증하기 위해.

제안 방법

• 단안 영상에서 의미 인식 에지를 생성하기 위해 딥 네트워크(CaseNet)를 사용하여 외부 조건에서의 에지 반복성을 향상시킨다.
• 의미 레이블을 활용해 근접 이웃 매칭을 안내함으로써 프레임 간 에지 간 강건한 데이터 연관을 가능하게 하는 의미적 근접 이웃 필드(SNNF)를 도입한다.
• SNNF 프레임워크는 직접적인 ICP 기반 에지 정렬 방법과 통합되어 운동 추정에서 광학적, 기하학적, 의미적 일관성을 확보한다.
• 에지가 적은 식생 지배 지역에서 운동 추정을 안정화시키기 위해, 최적화에 레이블이 없는 픽셀을 포함하는 유연한 샘플링 전략을 적용한다.
• 직접적 VO 프레임워크에 통합되어 광학 오차를 최소화하면서도 통합된 에너지 함수를 통해 기하학적 및 의미적 제약 조건을 강제한다.
• KITTI 시퀀스를 사용하여 시스템을 평가하였으며, 궤적 정확도와 런타임을 주요 지표로 ORBSLAM2, DSO, VSO와 비교하였다.

실험 결과

연구 질문

• RQ1 SNNF를 통한 의미 인식 데이터 연관은 외부 환경에서 에지 기반 시각 옵오메트리의 수렴 반경과 강건성을 어떻게 향상시키는가?
• RQ2 의미적 에지 검출 방법—특히 딥 네트워크에서 학습된 에지와 전통적인 Canny 에지—의 상대적 영향은 자동차 운동 추정 정확도에 어떤가?
• RQ3 도시 및 고속도로 환경에서 의미 제약 조건은 비도시적, 식생 지배 환경에 비해 추적 성능을 얼마나 향상시키는가?
• RQ4 의미적 에지를 통합한 직접적 VO 프레임워크는 최신의 간접적 및 직접적 VO 시스템보다 더 높은 정확도와 강건성을 달성할 수 있는가?
• RQ5 의미적 에지 통합은 대규모 외부 맵핑에서 런타임과 실시간 실행 가능성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 KITTI 시퀀스 00, 02, 08, 09에서 가장 낮은 궤적 오차를 기록하였으며, 시퀀스 00에서 11.82%의 오차를 기록하여 ORBSLAM2(16.14%)와 DSO(16.83%)를 모두 능가했다.
• 고속도로 시퀀스(예: 00, 02, 09)에서 다른 방법이 실패하는 상황에서도 전체 궤적을 성공적으로 복원하여 수렴 강건성에서 뛰어난 성능을 보였다.
• 엔드 투 엔드로 학습된 에지가 융합된 에지 표현보다 더 높은 추적 정확도를 제공하여 에지 학습의 더 높은 안정성을 시사한다.
• 의미 제약 조건은 도시 및 고속도로 환경에서 성능 향상을 크게 이끌었지만, 에지 밀도가 낮고 의미가 모호한 마을 시퀀스에서는 최소한의 성능 향상을 보였다.
• NVIDIA GTX 1080Ti에서 이미지당 약 0.7초의 속도로 실행되어 준온라인 수준이며, 의미적 에지 계산과 SNNF 처리로 인해 DSO 대비 처리 시간이 1.34배 증가했다.
• 절단 분석 결과, 다수의 잘 분포된 에지와 의미 요소가 있는 환경에서 에지 기반 VO가 가장 큰 이점을 얻었으며, 에지가 적고 식생이 풍부한 환경에서는 성능이 저하됨을 확인했다.