[논문 리뷰] High-resolution LIDAR-based Depth Mapping using Bilateral Filter

Cristiano Premebida, Luís Garrote외 3명|arXiv (Cornell University)|2016. 06. 17.

Robotics and Sensor-Based Localization참고 문헌 12인용 수 3

한 줄 요약

이 논문은 단일 LIDAR 포인트 클라우드에서 고해상도 깊이 맵을 생성하기 위해 양면 필터 기반의 새로운 프레임워크를 제안한다. 이는 희박한 3D 포인트 클라우드의 업샘플링 과정에서 경계를 유지하기 위해 수정된 범위 가중치 항을 사용한다. 이 방법은 KITTI 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 최적 창 크기(13×13)에서 D1-all 오차가 3.35%로, IDW, 크리깅, 표준 BF 방법보다 뛰어나다.

ABSTRACT

High resolution depth-maps, obtained by upsampling sparse range data from a 3D-LIDAR, find applications in many fields ranging from sensory perception to semantic segmentation and object detection. Upsampling is often based on combining data from a monocular camera to compensate the low-resolution of a LIDAR. This paper, on the other hand, introduces a novel framework to obtain dense depth-map solely from a single LIDAR point cloud; which is a research direction that has been barely explored. The formulation behind the proposed depth-mapping process relies on local spatial interpolation, using sliding-window (mask) technique, and on the Bilateral Filter (BF) where the variable of interest, the distance from the sensor, is considered in the interpolation problem. In particular, the BF is conveniently modified to perform depth-map upsampling such that the edges (foreground-background discontinuities) are better preserved by means of a proposed method which influences the range-based weighting term. Other methods for spatial upsampling are discussed, evaluated and compared in terms of different error measures. This paper also researches the role of the mask's size in the performance of the implemented methods. Quantitative and qualitative results from experiments on the KITTI Database, using LIDAR point clouds only, show very satisfactory performance of the approach introduced in this work.

연구 동기 및 목표

• 단일 카메라 데이터에 의존하지 않고 희박한 3D LIDAR 포인트 클라우드에서 고해상도 깊이 맵을 생성하는 데 도전하는 것.
• 양면 필터의 범위 기반 가중치 항을 수정하여 깊이 맵 업샘플링 중 경계 유지 성능을 향상시키는 것.
• 슬라이딩 창 크기(mr)가 보간 정확도와 강인성에 미치는 영향을 평가하는 것.
• 오차 지표 측면에서 IDW, 크리깅, 데라운이 기반 방법과 같은 기존 보간 기법들과의 비교를 통해 제안된 방법의 성능을 평가하는 것.
• LIDAR 단독 기반 깊이 맵 생성이 다중 센서 융합에 대한 의존도를 줄이며 경쟁 가능한 성능을 달성할 수 있음을 보여주는 것.

제안 방법

• 희박한 LIDAR 포인트 클라우드에 국한된 공간 보간을 수행하기 위해 슬라이딩 윈도우(마스크) 기법을 사용한다.
• 범위 기반 가중치 항을 개선하여 객체 경계에서 깊이 불연속성을 더 잘 유지할 수 있도록 수정된 양면 필터(BF*)를 제안한다.
• 필터는 공간적 근접성과 범위 차이를 조합하며, 전경-배경 경계에서의 블러링을 줄이기 위해 범위 항을 동적으로 조정한다.
• 오차 성능에 미치는 영향을 분석하기 위해 창 크기(mr)를 다양하게 조정하였으며, 최적 결과는 mr=13에서 도출되었다.
• 표준 KITTI 데이터셋 지표인 D1-fg(전경), D1-bg(배경), D1-all(통합) 오차를 사용하여 평가하였다.
• 참고 기준은 원본 LIDAR 포인트 클라우드에서 유도되었으며, 결과는 KITTI 개발킷 오차 매핑 도구를 사용해 시각화되었다.

실험 결과

연구 질문

• RQ1 단일 LIDAR 포인트 클라우드에서 카메라 데이터 없이 양면 필터를 효과적으로 적응시켜 고해상도 깊이 맵을 생성할 수 있는가?
• RQ2 양면 필터의 수정된 범위 가중치 항은 깊이 맵 업샘플링 중 경계 유지에 어떤 영향을 미치는가?
• RQ3 제안된 업샘플링 프레임워크에서 정확도와 계산 비용을 균형 잡는 데 최적의 창 크기(mr)는 무엇인가?
• RQ4 제안된 BF* 방법은 IDW, 크리깅, 데라운이 기반 접근 방식과 같은 전통적 보간 기법들에 비해 정량적으로 어떻게 비교되는가?
• RQ5 실세계 환경에서 LIDAR 단독 기반 깊이 맵 생성이 다중 센서 융합 방법과 비교해 얼마나 높은 성능을 달성할 수 있는가?

주요 결과

• 제안된 BF* 방법은 창 크기 13×13에서 가장 낮은 D1-all 오차 3.35%를 기록하여 테스트된 모든 다른 방법보다 뛰어났다.
• 전경 오차(D1-fg)는 BF*가 8.23%로 가장 낮았으며, IDW(25.84%)와 KRI(25.77%)보다 현저히 낮았다.
• 배경 오차(D1-bg)는 BF*에 의해 2.63%로 감소하여 매끄러운 영역에서 강력한 성능을 보였다.
• 다양한 창 크기에서의 강인성을 입증하였으며, mr이 증가함에 따라 BF*는 낮은 오차를 유지하는 반면, IDW와 KRI는 점진적으로 증가하는 오차를 보였다.
• 데라운이 기반 방법들은 높은 밀도(99.96%)를 달성했지만 BF*보다 오차율이 높아, 밀도와 정확도 사이의 상충 관계가 있음을 시사했다.
• 그림 6의 정성적 결과는 BF*가 날카운 경계와 최소한의 아티팩트를 갖는 시각적으로 일관된 깊이 맵을 생성했음을 확인했다. 특히 객체 경계 근처에서 뛰어난 성능을 보였다.