[논문 리뷰] 3D Fully Convolutional Network for Vehicle Detection in Point Cloud

Bo Li|arXiv (Cornell University)|2016. 11. 24.

Remote Sensing and LiDAR Applications참고 문헌 15인용 수 23

한 줄 요약

이 논문은 LiDAR 포인트 클라우드에서 엔드 투 엔드 3D 차량 검출을 위한 3D 풀 컨볼루션 네트워크(FCN)를 제안한다. 2D FCN 원리를 3D 바이트라이즈드 공간으로 확장하여 다운샘플링과 디컨볼루션 업샘플링을 사용한다. KITTI 데이터셋에서 최신 기준 성능을 달성하여 온라인 평가에서 이전의 포인트 클라우드 기반 방법보다 20퍼센트 이상 높은 성능을 기록했으며, 이미지 평면 및 지면 평면 검출 지표에서 모두 새로운 최고 성능을 수립했다.

ABSTRACT

2D fully convolutional network has been recently successfully applied to object detection from images. In this paper, we extend the fully convolutional network based detection techniques to 3D and apply it to point cloud data. The proposed approach is verified on the task of vehicle detection from lidar point cloud for autonomous driving. Experiments on the KITTI dataset shows a significant performance improvement over the previous point cloud based detection approaches.

연구 동기 및 목표

• 포인트 클라우드에서 풀 컨볼루션 네트워크를 사용하여 엔드 투 엔드 3D 객체 검출 프레임워크를 개발하는 것.
• 2D 기반 검출의 한계를 보완하기 위해 3D 공간 데이터를 직접 처리하여 더 정확한 3D 위치 추정을 달성하는 것.
• 3D 공간 특징을 활용하고 척도 변동성 및 가림 현상의 영향을 줄임으로써 KITTI 벤치마크에서 검출 성능을 향상시키는 것.
• 실제 자율주행 환경의 필요성을 반영하기 위해 이미지 평면 및 지면 평면 평가 지표를 모두 활용하여 방법을 검증하는 것.

제안 방법

• 3개의 다운샘플링 컨볼루션 계층(스트라이드 1/2^3)과 이후의 디컨볼루션 계층을 이용한 3D FCN 아키텍처를 사용한다.
• 공간적 위치당 두 가지 출력을 예측한다: 객체 존재 가능성 점수와 별도의 출력 맵을 통한 3D 바운딩 박스 오프셋.
• 객체 존재 가능성은 소프트맥스 활성화 함수를 사용한 점수로 예측하며, 바운딩 박스 좌표는 앵커 영역에서의 오프셋 벡터로 예측한다.
• 총 손실는 객체 존재 가능성 손실와 바운딩 박스 회귀 손실를 가중치 w로 조합하여 계산하며, 각각 교차 엔트로피 손실와 L2 손실를 사용한다.
• 추론 과정은 고신뢰도 영역을 선택하고 예측된 바운딩 박스를 클러스터링하여 최종 검출 결과를 도출한다.
• 이 방법은 이미지 평면 및 지면 평면 IoU 지표를 사용하여 평가되며, 비교를 위해 3D 박스를 투영한다.

실험 결과

연구 질문

• RQ1 풀 컨볼루션 네트워크를 2D 이미지에서 3D 포인트 클라우드 데이터로 성공적으로 확장하여 엔드 투 엔드 객체 검출에 적용할 수 있는가?
• RQ2 KITTI 벤치마크에서 정확도와 견고성 측면에서 이전의 포인트 클라우드 기반 방법보다 3D FCN 검출 성능이 뛰어나게 되는가?
• RQ3 3D 공간(지면 평면)에서의 검출 성능와 2D 이미지 공간에서의 성능는 어떻게 다를지, 어느 것이 실제 자율주행 환경의 요구를 더 잘 반영하는가?
• RQ4 낮은 해상도와 3D에서 2D로의 투영 시 오차로 인한 영향을 고려할 때, 제안된 3D FCN가 이미지 기반 검출 방법과 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• 제안된 3D FCN는 KITTI 'easy' 이미지 평면 벤치마크에서 93.7%의 평균 정밀도(AP)를 기록하여 이전 최고 성능인 VeloFCN 방법(74.1% AP)을 크게 초월했다.
• 지면 평면 평가에서 'easy' 스플릿에서 88.9%의 AP를 기록하여 자율주행에 핵심적인 수평 위치 추정 능력에서 뛰어난 성능을 입증했다.
• KITTI 온라인 평가에서 'easy' 스플릿에서 84.2%의 AP를 기록하여 VeloFCN(60.3% AP)을 20퍼센트 이상 뛰어넘는 성능을 보였다.
• 평균 방향 유사도(AOS) 지표에서 'easy' 지면 평면 스플릿에서 88.9%를 기록하여 정확한 방향 추정 능력을 보였다.
• 결과적으로 3D FCN는 2D 투영 대비 척도 변동성과 가림 현상을 줄여 3D 공간에서 더 견고한 검출을 가능하게 했다.
• 이 프레임워크는 벨로시티 LiDAR 외에도 키파드, 스테레오, SfM 등의 다른 포인트 클라우드 소스에 대해서도 잘 일반화되어 있어, 벨로시티 LiDAR를 초월한 광범위한 적용 가능성을 보였다.