[논문 리뷰] GCNv2: Efficient Correspondence Prediction for Real-Time SLAM

Jiexiong Tang, Ludvig Ericson외 2명|arXiv (Cornell University)|2019. 02. 28.

Robotics and Sensor-Based Localization참고 문헌 44인용 수 23

한 줄 요약

GCNv2는 ORB-SLAM2에서 ORB 특징을 대체하는 경량이며 이진 서술자 기반의 딥러닝 네트워크로, Jetson TX2와 같은 임베디드 플랫폼에서 실시간 시각 옹도메트리 구현을 가능하게 한다. 키포인트 반복성과 강인성 향상으로 최신 기술 수준의 추적 성능를 달성하면서도 GCN의 정확성을 유지하면서 추론 시간을 크게 단축시켜 드론 제어에 실시간으로 활용할 수 있다.

ABSTRACT

In this paper, we present a deep learning-based network, GCNv2, for generation of keypoints and descriptors. GCNv2 is built on our previous method, GCN, a network trained for 3D projective geometry. GCNv2 is designed with a binary descriptor vector as the ORB feature so that it can easily replace ORB in systems such as ORB-SLAM2. GCNv2 significantly improves the computational efficiency over GCN that was only able to run on desktop hardware. We show how a modified version of ORB-SLAM2 using GCNv2 features runs on a Jetson TX2, an embedded low-power platform. Experimental results show that GCNv2 retains comparable accuracy as GCN and that it is robust enough to use for control of a flying drone.

연구 동기 및 목표

• 임베디드 플랫폼에서 실시간 SLAM에 적합한 계산 효율성이 높은 딥러닝 기반 키포인트 및 서술자 네트워크를 개발하는 것.
• 원래 GCN 네트워크의 높은 정확성을 유지하면서 저전력 하드웨어에 배포하기 위해 추론 시간을 단축하는 것.
• 이진 벡터를 사용하여 ORB-SLAM2와 호환되는 서술자 형식을 설계하여 기존 SLAM 파이프라인에 원활하게 통합할 수 있도록 하는 것.
• 특히 무문자 실내 환경이나 동적인 환경에서의 실시간 성능과 강인성을 입증하는 것.
• 자원 제약이 있는 실시간 로봇 공학 애플리케이션에 딥러닝 기반 특징 추출을 구현할 수 있도록 하는 것.

제안 방법

• GCNv2는 ORB 형식을 모방하여 직접 ORB-SLAM2와 호환 가능한 256비트 이진 서술자를 예측하도록 엔드 투 엔드로 훈련한다.
• 네트워크는 한 번에 하나의 RGB-D 프레임을 처리하여 원래 GCN의 다중 프레임 매칭 오버헤드를 제거하고 추론 속도를 향상시킨다.
• 이진화 과정이 훈련 과정에 통합되어 해밍 거리 계산을 통한 서술자 매칭을 가속화한다.
• 3D 투영 기하학 기반의 기하학적 대응 관찰을 이용해 훈련하여, 뷰포인트 변화에 강인한 서술자를 보장한다.
• ORB-SLAM2의 ORB를 GCNv2 특징으로 대체한 수정된 버전을 사용하여 Jetson TX2에서 실시간 동작을 가능하게 한다.
• 시스템은 RGB-D 데이터를 직접 사용하여 스케일을 추정하여 시각-자이로스코픽 융합이나 깊이 예측 네트워크가 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 Jetson TX2와 같은 임베디드 플랫폼에서 실시간으로 작동할 수 있도록 충분히 효율적인 딥러닝 기반 키포인트 및 서술자 네트워크를 개발할 수 있는가?
• RQ2 3D 투영 기하학을 기반으로 훈련된 이진 서술자 네트워크가 실세계 SLAM 시나리오에서 ORB보다 키포인트 반복성과 추적 강인성 측면에서 뛰어나게 성능을 내는가?
• RQ3 GCNv2는 아키텍처 변경 없이 기존 SLAM 프레임워크인 ORB-SLAM2에 원활하게 통합될 수 있는가?
• RQ4 GCNv2는 무문자 실내 복도나 뷰포인트 변화가 큰 외부 환경과 같은 도전적인 환경에서 어떻게 성능을 내는가?
• RQ5 원래 GCN에 비해 추론 시간을 크게 단축시키면서도 높은 정확성을 유지할 수 있는가?

주요 결과

• 원래 GCN는 데스크톱 GPU가 필요로 했지만, GCNv2는 저전력 임베디드 플랫폼인 Jetson TX2에서도 실시간 시각 옹도메트리 구현이 가능하다.
• Corridor 및 Kitchen 데이터셋에서 GCNv2는 전체 키포인트 수가 적음에도 불구하고, 인라이어 비율이 ORB보다 높아 최대 90%까지 확보했다.
• 실내 복도 및 외부 주차장 시나리오에서 180도 회전 시 ORB-SLAM2는 추적 실패를 겪었지만, GCNv2는 모든 테스트 케이스에서 안정적인 추적을 유지했다.
• GCN-SLAM(_GCNSLAM_에 GCNv2 특징를 사용한 드론은 궤적 비교 결과에서 ORB-SLAM2보다 더 낮은 노이즈와 향상된 안정성으로 위치 유지 성능이 뛰어났다.
• Open3D의 TSDF 통합을 사용해 GCN-SLAM 데이터에서 메시 재구성한 결과 정성적으로 정확한 지도를 생성하여, 루프 클로징 없이도 추적 자체의 신뢰성을 확인했다.
• 중간 출력 비교를 통해 GCNv2 특징는 ORB 특징보다 더 균일하고 반복성이 높은 것으로 확인되었다.