[논문 리뷰] HDNET: Exploiting HD Maps for 3D Object Detection

Bin Yang, Ming Liang외 1명|arXiv (Cornell University)|2020. 12. 21.

Advanced Image and Video Retrieval Techniques인용 수 244

한 줄 요약

HDNET은 BEV에서 LiDAR를 HD 맵 전제(기하학적 및 의미적)를 융합한 맵 인식 단일 스테이지 3D 탐지기를 도입하고, 단일 LiDAR 스윕으로 온라인으로 맵을 예측할 수도 있어 일관된 이득을 얻고 20 FPS로 실행됩니다.

ABSTRACT

In this paper we show that High-Definition (HD) maps provide strong priors that can boost the performance and robustness of modern 3D object detectors. Towards this goal, we design a single stage detector that extracts geometric and semantic features from the HD maps. As maps might not be available everywhere, we also propose a map prediction module that estimates the map on the fly from raw LiDAR data. We conduct extensive experiments on KITTI as well as a large-scale 3D detection benchmark containing 1 million frames, and show that the proposed map-aware detector consistently outperforms the state-of-the-art in both mapped and un-mapped scenarios. Importantly the whole framework runs at 20 frames per second.

연구 동기 및 목표

• HD 맵이 3D 객체 탐지 성능을 향상시키기 위한 강력한 선험 정보를 제공함을 입증한다.
• LiDAR와 의미적 및 기하학적 맵 선험 정보를 융합하는 단일 스테이지 BEV 탐지기를 개발한다.
• 맵이 없을 때를 LiDAR 데이터로부터 맵 선험 정보를 온라인으로 예측하여 처리한다.
• 맵이 있는/없는 시나리오에서의 강인함을 입증하기 위해 KITTI BEV와 TOR4D 벤치마크에서 접근법을 평가한다.

제안 방법

• LiDAR를 BEV로 표현하고 HD 맵 선험 정보(맵에 대한 상대적 지상 높이, 의미론적 도로 마스크)로 보강한다.
• 맵에서 비롯된 채널을 양자화된 LiDAR BEV와 연결(concatenate)하여 선험 정보를 융합하고, 완전한 합성곱 백본과 밀도 탐지 헤더로 처리한다.
• 다중 작업 손실로 학습한다(분류에 대해 focal loss, 회귀에 대해 smooth L1) 및 맵 선험 정보의 데이터 드롭아웃을 적용하여 맵이 사용 불가능한 경우의 강인성을 향상시킨다.
• 추론 중에는 밀집 BEV 예측에서 NMS를 사용해 방향성 있는 3D 박스를 얻는다.
• 단일 LiDAR 스윕에서 U-Net을 이용한 지상 높이와 도로 마스크의 온라인 맵 추정 모듈을 제공하여 unmapped 시나리오를 가능하게 한다.

실험 결과

연구 질문

• RQ1 HD 맵이 BEV에서 3D 객체 탐지 정확도와 강인성을 향상시키는 유용한 선험 정보를 제공할 수 있는가?
• RQ2 의미론적 및 기하학적 맵 선험 정보가 탐지 성능에 개별적으로 얼마나 기여하는가?
• RQ3 맵 선험 정보로 학습된 탐지기가 맵이 없을 때 온라인 맵 예측을 사용하여 강건하게 작동할 수 있는가?
• RQ4 현실 세계 벤치마크에서 HD 맵 및 온라인 맵 추정의 도입이 성능과 속도에 어떤 영향을 미치는가?
• RQ5 HDNET이 맵-free 기반선과 비교하여 짧은 거리 및 긴 거리에서 어떤 성능을 보이는가?

주요 결과

• HDNET은 HD 맵이 이용 가능할 때 강력한 맵-프리베이스라인(PIXOR++)을 능가하며 TOR4D 및 KITTI에서 우수한 성능을 보인다.
• Tor4D에서 HDNET은 오프라인 맵일 때 0–70 m, 30–50 m, 50–70 m 구간에 대해 각각 2.42, 3.43, 5.49 포인트의 AP 이점을 제공한다.
• 온라인 맵 선험 정보(단일 LiDAR 스윕에서 추정)로도 HDNET은 기준선 대비 주목할 만한 이득을 얻는다(예: 각각의 구간에서 +0.91/ +1.69 / +0.92).
• 오프라인 HD 맵을 사용하면 온라인 선험 정보보다 더 큰 이득이 발생하며, 전체적으로 최대 +2.42 AP, 장거리에서 최대 +5.49 AP까지의 이득을 준다.
• KITTI BEV에서 HDNET은 PIXOR++ 대비 보통 설정에서 절대 AP 이득 2.87 포인트를 달성하며 카메라 데이터나 외부 라벨을 사용하는 방법들을 능가한다.
• 프레임당 대략 20프레임의 속도로 동작하여 실시간 배치에 적합하다.