[논문 리뷰] Rethinking Pseudo-LiDAR Representation

Xinzhu Ma, Shinan Liu외 4명|arXiv (Cornell University)|2020. 08. 11.

Advanced Neural Network Applications참고 문헌 40인용 수 9

한 줄 요약

이 논문은 이미지 기반 3D 검출기인 PatchNet를 제안하며, 가짜 LiDAR 포인트 클라우드 표현에 의존하지 않고 이미지 좌표에서 LiDAR 좌표로의 좌표 변환을 활용하여 KITTI 데이터셋에서 최고 성능을 달성한다. 저자들은 가짜 LiDAR의 성능 향상 요인이 데이터 표현 방식이 아니라, 좌표 변환을 통한 카메라 캘리브레이션 정보의 암묵적 인코딩에 기인함을 입증한다. 이로 인해 2D CNN 기반의 특징 추출과 엔드 투 엔드 학습이 향상된다.

ABSTRACT

The recently proposed pseudo-LiDAR based 3D detectors greatly improve the benchmark of monocular/stereo 3D detection task. However, the underlying mechanism remains obscure to the research community. In this paper, we perform an in-depth investigation and observe that the efficacy of pseudo-LiDAR representation comes from the coordinate transformation, instead of data representation itself. Based on this observation, we design an image based CNN detector named Patch-Net, which is more generalized and can be instantiated as pseudo-LiDAR based 3D detectors. Moreover, the pseudo-LiDAR data in our PatchNet is organized as the image representation, which means existing 2D CNN designs can be easily utilized for extracting deep features from input data and boosting 3D detection performance. We conduct extensive experiments on the challenging KITTI dataset, where the proposed PatchNet outperforms all existing pseudo-LiDAR based counterparts. Code has been made available at: https://github.com/xinzhuma/patchnet.

연구 동기 및 목표

• 단일/스테레오 3D 검출에서 가짜 LiDAR 기반 3D 검출기의 성공 배경에 대한 근본 원인을 탐구하기 위해.
• 가짜 LiDAR 표현 자체가 성능 향상에 필수적인지, 또는 다른 표현 방식으로도 유사한 성능을 달성할 수 있는지 판단하기 위해.
• 성숙한 2D CNN 아키텍처를 활용하고 엔드 투 엔드 학습을 가능하게 하는 보다 일반화 가능한 이미지 기반 3D 검출기를 개발하기 위해.
• 이미지에서 LiDAR 공간으로의 좌표 변환이 성능 향상의 핵심 요인임을 검증하기 위해, 데이터 표현 자체는 아님을 확인하기 위해.

제안 방법

• 가짜 LiDAR 방법의 아키텍처를 그대로 모방하지만, 가짜 LiDAR 포인트 클러스터 대신 원본 이미지 입력을 사용하는 PatchNet-vanilla를 설계한다.
• 예측된 깊이 맵을 이미지 특징과 융합하고, 카메라 캘리브레이션을 적용하여 2D 이미지 좌표를 3D 월드 좌표로 변환하여 추가 입력 채널로 활용한다.
• 표준 2D 컬러리널 신경망(CNN)을 사용하여 융합된 이미지 및 좌표 데이터에서 특징을 추출하고, 엔드 투 엔드 학습을 가능하게 한다.
• 특징 맵 상단에 3D 검출 헤드를 적용하여 3D 바운딩 박스를 예측하고, 위치, 크기, 방향성에 최적화된 손실 함수를 사용한다.
• 모든 비교에서 일관되게 DORN 깊이 추정기 사용을 통해 표현 방식의 영향을 공정하게 평가한다.
• 기여도를 분리하기 위해, 성능 향상에서 좌표 변환과 데이터 표현의 기여도를 각각 분석하는 아블레이션 스터디를 수행한다.

실험 결과

연구 질문

• RQ1 가짜 LiDAR가 표준 이미지 기반 3D 검출기보다 뛰어난 성능을 내는 데 기여하는 진정한 기초 메커니즘은 무엇인가?
• RQ2 가짜 LiDAR의 포인트 클라우드 표현 방식이 이미지 기반 표현 방식보다 본질적인 이점을 제공하는가?
• RQ3 좌표 정보를 강화한 순수 이미지 특징 기반 검출기가 가짜 LiDAR 기반 검출기와 동등하거나 이를 초월할 수 있는가?
• RQ4 데이터 표현과는 독립적으로, 이미지에서 LiDAR 공간으로의 좌표 변환이 검출 정확도에 얼마나 기여하는가?
• RQ5 입력 특징 공간에 세계 좌표를 통합함으로써, 이미지 기반 3D 검출기가 더 효과적이고 일반화 능력이 뛰어나질 수 있는가?

주요 결과

• 가짜 LiDAR의 성능 향상 요인이 포인트 클라우드 표현 방식 때문이 아니라, 이미지에서 LiDAR 공간으로의 좌표 변환을 통해 카메라 캘리브레이션 정보가 암묵적으로 인코딩되기 때문이다.
• 가짜 LiDAR와 동일한 아키텍처를 가졌지만 포인트 클러스터 변환을 하지 않는 이미지 기반 검출기인 PatchNet-vanilla는 KITTI 데이터셋에서 가짜 LiDAR와 동등한 성능을 달성한다.
• 제안된 PatchNet 모델은 KITTI 데이터셋에서 SOTA 성능을 달성하며, 차량 카테고리의 하드 셋에서 AP@11 기준 35.1%의 성능을 기록한다.
• 이전 SOTA 방법인 AM3D보다 AP@11 기준 하드 셋에서 2.34% 향상되어 제안된 아키텍처의 효과성을 입증한다.
• 이 방법은 엔드 투 엔드 학습을 가능하게 하며, 전통적인 가짜 LiDAR 파이프라인에서 사용하는 포인트 기반 CNN보다 강력한 2D CNN을 더 효과적으로 활용할 수 있다.
• 실패 사례의 주요 원인은 가림과 잘린 객체이며, 일부 2D 검출기의 실패가 3D 검출로 영향을 미치므로, 2D 검출기의 강건성 향상 여지가 있다.