[논문 리뷰] Edge-Direct Visual Odometry

Kevin Christensen, Martial Hebert|arXiv (Cornell University)|2019. 06. 11.

Robotics and Sensor-Based Localization참고 문헌 25인용 수 8

한 줄 요약

이 논문은 단일 이미지에서 추출한 에지 픽셀 위주로 사진적 오차를 최소화하는 스퍼스 시각 올로메트리 방법인 Edge-Direct Visual Odometry를 제안한다. 이는 강력한 가우스-뉴턴 최적화를 사용하여 에지 픽셀에서만 사진적 오차를 최소화한다. Canny 에지 검출과 자동 임계값 설정을 통해 식별된 에지에 집중함으로써, 밀도 높은 방법 대비 90% 이상의 계산량 감소를 이룩하면서도 최신 기준 성능을 달성하며, 드리프트를 크게 줄이고 표준 RGB-D 벤치마크에서 높은 효율을 유지한다.

ABSTRACT

In this paper we propose an edge-direct visual odometry algorithm that efficiently utilizes edge pixels to find the relative pose that minimizes the photometric error between images. Prior work on exploiting edge pixels instead treats edges as features and employ various techniques to match edge lines or pixels, which adds unnecessary complexity. Direct methods typically operate on all pixel intensities, which proves to be highly redundant. In contrast our method builds on direct visual odometry methods naturally with minimal added computation. It is not only more efficient than direct dense methods since we iterate with a fraction of the pixels, but also more accurate. We achieve high accuracy and efficiency by extracting edges from only one image, and utilize robust Gauss-Newton to minimize the photometric error of these edge pixels. This simultaneously finds the edge pixels in the reference image, as well as the relative camera pose that minimizes the photometric error. We test various edge detectors, including learned edges, and determine that the optimal edge detector for this method is the Canny edge detection algorithm using automatic thresholding. We highlight key differences between our edge direct method and direct dense methods, in particular how higher levels of image pyramids can lead to significant aliasing effects and result in incorrect solution convergence. We show experimentally that reducing the photometric error of edge pixels also reduces the photometric error of all pixels, and we show through an ablation study the increase in accuracy obtained by optimizing edge pixels only. We evaluate our method on the RGB-D TUM benchmark on which we achieve state-of-the-art performance.

연구 동기 및 목표

• 전체 이미지 강도 대신 에지 픽셀을 활용하여 더 효율적이고 정확한 시각 올로메트리 방법을 개발한다.
• 에지 픽셀만으로도 전체 이미지에 걸쳐 사진적 오차를 최소화할 수 있음을 입증하여, 정확도를 훼손하지 않은 채 계산 부담을 줄인다.
• 에지-직접 최적화와 직접적인 밀도 높은 방법을 비교하여, 고수준 이미지 피라미드에서의 오차 수렴 특성과 앨리어징 효과의 차이를 규명한다.
• 임의의 픽셀 샘플링과 키프레임 통합을 통한 분석 실험을 통해 에지 기반 최적화의 강인성과 안정성을 평가한다.
• 에지 픽셀만 최적화하는 것이 경쟁 기법들보다 상대적 자세 드리프트와 절대 궤적 오차를 낮춘다는 것을 입증한다.

제안 방법

• 시험된 에지 검출기들 중에서 최적으로 밝혀진 Canny 에지 검출과 자동 임계값 설정을 사용하여 단일 기준 이미지에서 에지를 추출한다.
• 에지 픽셀 강도에 기반한 사진적 오차 함수를 정의하고, 강력한 가우스-뉴턴 최적화를 통해 상대 카메라 자세를 추정한다.
• Lucas-Kanade의 역합성 구성 프레임워크를 사용하여, 사용된 픽셀 수에 비례하는 선형 시간 복잡도를 확보한다. 이는 에지 픽셀만을 사용할 경우 극적으로 감소한다.
• 에지 픽셀을 동시에 최적화하고 기준 이미지에서 식별함으로써 별도의 특징 매칭 단계를 피한다.
• 일정 운동 가정과 키프레임 관리 기법을 통합하여 장시간 시퀀스에서의 안정성과 드리프트 감소를 향상시킨다.
• 에지 기반 최적화, 무작위 픽셀 샘플링, 밀도 높은 픽셀 최적화를 비교하여 에지 선택의 우월성을 검증한다.

실험 결과

연구 질문

• RQ1 에지 픽셀에서만 사진적 오차를 최소화하는 것이 전체 이미지 밀도 최적화와 비교해 유사하거나 더 높은 정확도를 달성할 수 있는가?
• RQ2 계산 효율성과 수렴 안정성 측면에서 에지 기반 최적화는 밀도 높은 방법과 어떻게 비교되는가?
• RQ3 에지-직접 시각 올로메트리에 가장 적합한 에지 검출기는 무엇이며, 성능에 어떤 영향을 미치는가?
• RQ4 에지 픽셀에서 사진적 오차를 최소화하면 전체 이미지 픽셀의 오차도 감소하는가?
• RQ5 에지 픽셀 사용이 장시간 시퀀스에서 궤적 드리프트와 프레임 간 지연에 어떤 영향을 미치는가?

주요 결과

• Edge-Direct 방법은 TUM RGB-D 벤치마크에서 기존 방법보다 상대적 자세 드리프트와 절대 궤적 오차가 크게 낮아 최신 기준 성능을 달성한다.
• 에지 픽셀만 최적화할 경우 밀도 높은 방법 대비 약 90%의 계산 감소를 이룩하여 Intel i7 CPU에서 약 50 fps의 성능을 달성한다.
• 분석 실험 결과, 동일한 크기의 무작위 픽셀보다 에지 픽셀이 더 정확하고 안정성이 높다는 것이 확인되었다.
• 에지 픽셀에서 사진적 오차를 최소화하는 것은 동시에 전체 이미지 픽셀의 오차도 감소시켜, 정확한 자세 추정을 위한 최소한의 조건임을 시사한다.
• 밀도 높은 방법의 고수준 피라미드에서는 앨리어징 효과가 발생하여 잘못된 수렴을 유도하는 문제가 있었으나, Edge-Direct 접근법은 이를 피할 수 있었다.
• 장시간 시퀀스(예: 99초, 18미터)에서도 Bundle Adjustment나 루프 클로징 없이도 안정적으로 낮은 드리프트를 유지하며 우수한 성능을 발휘한다.