[논문 리뷰] Fast LIDAR-based Road Detection Using Fully Convolutional Neural Networks

Luca Caltagirone, Samuel Scheidegger외 2명|arXiv (Cornell University)|2017. 03. 10.

Remote Sensing and LiDAR Applications참고 문헌 19인용 수 24

한 줄 요약

이 논문은 구조가 없는 포인트 클라우드를 고도, 반사도 및 밀도 통계를 인코딩하는 상위 시각 이미지로 변환함으로써 라이다 기반 도로 검출을 위한 실시간, 전결합 신경망(FCN)을 제안한다. 이 방법은 KITTI 도로 벤치마크에서 최신 기술 수준의 성능(최대F: 95.58%)을 달성하며, GPU 하드웨어에서 실시간으로 효율적으로 작동하여 조명 조건에 대해 뛰어난 내구성을 보인다.

ABSTRACT

In this work, a deep learning approach has been developed to carry out road detection using only LIDAR data. Starting from an unstructured point cloud, top-view images encoding several basic statistics such as mean elevation and density are generated. By considering a top-view representation, road detection is reduced to a single-scale problem that can be addressed with a simple and fast fully convolutional neural network (FCN). The FCN is specifically designed for the task of pixel-wise semantic segmentation by combining a large receptive field with high-resolution feature maps. The proposed system achieved excellent performance and it is among the top-performing algorithms on the KITTI road benchmark. Its fast inference makes it particularly suitable for real-time applications.

연구 동기 및 목표

• 다양한 조명 조건에서 카메라 기반 방법을 능가하는 딥러닝 기반의 라이다 도로 검출 방법의 부족을 해결한다.
• 오직 라이다 데이터만을 사용하여 빠르고 정확한 의미적 세그멘테이션 시스템을 개발한다.
• GPU 가속을 활용하여 자율 주행 시스템에 통합 가능한 실시간 추론을 가능하게 한다.
• 불량하거나 변화하는 조명 조건에서 성능이 저하되는 카메라 기반 방법의 한계를 극복한다.
• 라이다 포인트 클라우드의 상위 시각 표현이 고정밀 도로 세그멘테이션을 위한 충분한 구분 능력을 지닌다를 입증한다.

제안 방법

• x-y 평면을 0.1m×0.1m 크기의 셀로 분할하여 원시 라이다 포인트 클라우드를 200×400 상위 시각 격자 이미지로 변환한다.
• 각 격자 셀당 6개의 통계적 특징을 계산한다: 포인트 수, 평균 반사도, 평균, 표준편차, 최소값, 최대값 고도.
• 결과로 생성된 6채널 상위 시각 이미지를 대용량 수신장역과 고해상도 특징 맵을 가진 전결합 신경망(FCN)에 입력한다.
• 데이터 증강을 사용하여 KITTI 도로 벤치마크에서 픽셀 단위 의미적 세그멘테이션 손실을 통해 FCN을 훈련시킨다.
• 고밀도 포인트 영역에 집중하기 위해 동적으로 조절 가능한 x-범위를 가진 관심 영역(ROIs)을 사용한다.
• 라벨링 정확도 영향을 평가하기 위해 인버스 퍼스펙티브 매핑(IPM)과 보간된 포인트 클라우드의 직접 투영을 비교하는 데 사용한다.

실험 결과

연구 질문

• RQ1 전결합 신경망이 포인트 클라우드의 오직 상위 시각 표현만을 사용하여 라이다 기반 도로 검출에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 라이다 센서에서의 거리에 따라 관심 영역(ROIs)의 성능은 어떻게 변하는가?
• RQ3 상위 시각 레이블링 방법의 선택(IPM 대 포인트 클라우드 투영)이 도로 검출 성능 평가에 어느 정도의 영향을 미치는가?
• RQ4 점의 존재/부재 여부만을 나타내는 점유도 이미지(occupancy images)만으로도 높은 세그멘테이션 정확도를 달성할 수 있는가? 이는 공간 분포 자체가 충분히 구분 능력을 지닌다는 것을 의미하는가?
• RQ5 시스템은 실시간으로 어떻게 작동하며, 자율 주행 시스템에 통합 가능한가?

주요 결과

• 제안된 FCN는 레이블링에 포인트 클라우드 투영을 사용할 경우 KITTI 검증 세트에서 최대F 점수 95.58%를 달성했다.
• 최대 ROI 거리 31미터에서 성능이 최고조에 도달했으며, 46미터에서 포인트 밀도가 낮아지면서 최대F가 95.58%로 감소했다.
• IPM 대비 더 정확한 포인트 클라우드 투영(PCP) 레이블링을 사용함으로써 검증 세트에서 정밀도가 92.92%에서 94.15%로 향상되었다.
• 입력으로 점유도 이미지만을 사용했을 때도 최대F 95.32%를 기록하여, 포인트의 공간 분포 자체만으로도 강력한 구분 능력이 있음을 입증했다.
• 모델는 GPU 가속 하드웨어에서 실시간으로 작동하여 자율 주행 시스템에 통합 가능한 것으로 확인되었다.
• 이 방법은 딥러닝 기반이 아닌 라이다 기반 접근법을 능가하며, KITTI 도로 벤치마크에서 상위 성능 알고리즘 중 하나로 평가되었다.