[논문 리뷰] Joint Pose and Shape Estimation of Vehicles from LiDAR Data

Hunter Goforth, Xiaoyan Hu외 2명|arXiv (Cornell University)|2020. 09. 08.

Robot Manipulation and Learning참고 문헌 38인용 수 4

한 줄 요약

이 논문은 공유 인코더-디코더 아키텍처를 사용하여 희소 LiDAR 스캔에서 차량 자세와 형상을 동시에 추정하는 공동 학습 프레임워크를 제안한다. 새로운 병합 손실을 통해 자세와 형상 예측을 함께 학습함으로써, 개별 추정 방식에 비해 더 높은 정확도와 효율성을 달성하였으며, 합성 데이터로만 훈련되었음에도 불구하고 실제 세계의 Argoverse 데이터에 잘 일반화된다.

ABSTRACT

We address the problem of estimating the pose and shape of vehicles from LiDAR scans, a common problem faced by the autonomous vehicle community. Recent work has tended to address pose and shape estimation separately in isolation, despite the inherent connection between the two. We investigate a method of jointly estimating shape and pose where a single encoding is learned from which shape and pose may be decoded in an efficient yet effective manner. We additionally introduce a novel joint pose and shape loss, and show that this joint training method produces better results than independently-trained pose and shape estimators. We evaluate our method on both synthetic data and real-world data, and show superior performance against a state-of-the-art baseline.

연구 동기 및 목표

• 자세와 형상 추정을 별도로 다루는 기존 연구의 한계를 해결하기 위해, 이 둘 간의 강한 상호의존성을 고려한다.
• 성능 향상을 위해 자세와 형상 예측 간 표현을 공유하는 통합된 딥러닝 프레임워크를 개발한다.
• 합성 LiDAR 데이터로만 훈련하면서도 실제 세계 시나리오에 대해 강력한 일반화 성능을 유지를 목표로 한다.
• 자세와 형상 예측에 동일한 인코더를 공유하여 모델의 중복을 줄이고 추론 효율성을 향상시킨다.
• 공동 손실을 사용한 공동 훈련이 자세 및 형상 헤드를 별도로 훈련하는 것보다 더 우수한 성능을 내는지 확인한다.

제안 방법

• 공유 인코더는 원시이고 정렬되지 않은 LiDAR 포인트 클라우드를 단일 잠재 표현으로 처리하여, 별도의 인코딩 대비 중복을 줄인다.
• 형상 디코더는 PCN 아키텍처를 기반으로 공유 코드에서 완전하고 균일하게 샘플링된 3차원 포인트 클라우드를 재구성한다.
• 자세 디코더는 다층 퍼셉트론(1024, 512, 512, 3)으로 구성되어 공유 코드에서 2차원 이동(x, y)과 헤딩 각도 θ를 회귀한다.
• 형상 복원 손실(예: Chamfer 거리)과 자세 회귀 손실을 병합한 새로운 공동 손실 함수를 제안하여 두 작업을 동시에 최적화한다.
• 네트워크는 두 단계로 훈련된다: 먼저 인코더와 형상 디코더를 합성 데이터로 사전 훈련하고, 이후 고정된 인코더를 유지한 채 자세 디코더를 미세 조정한 후, 종단 간 공동 훈련을 수행한다.
• 합성 데이터는 고해상도 CAD 모델과 시뮬레이션된 LiDAR 센서를 사용하여, 감독을 위해 부분적이고 완전한 스캔 쌍을 생성한다.

실험 결과

연구 질문

• RQ1 부분적 LiDAR 스캔에서 자세와 형상의 공동 학습이 개별 추정보다 성능을 향상시킬 수 있는가?
• RQ2 자세와 형상 헤드 간에 단일 인코더를 공유함으로써 중복을 줄이고 안정성을 향상시킬 수 있는가?
• RQ3 합성 LiDAR 데이터로만 훈련된 모델이 실제 자율주행차 데이터에 효과적으로 일반화될 수 있는가?
• RQ4 제안된 공동 손실은 정확도와 강건성 측면에서 별도 훈련 대비 어떻게 비교되는가?
• RQ5 실제 환경 조건에서 다양한 음영과 포인트 밀도 변화가 있을 때, 이 방법이 일관된 추정을 유지하는 정도는 어느 정도인가?

주요 결과

• 공동 훈련된 공유 인코더 모델은 합성 데이터와 실제 세계 데이터 모두에서 별도 훈련된 자세 및 형상 추정기보다 뛰어난 성능을 보였다.
• Argoverse 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 실제 차량 트랙 15개 중 12개에서 형상 추정이 진짜 값에 더 가까웠다.
• RGB 입력 없이도 자세 추정이 정확하게 유지되었으며, 다양한 실제 환경 조건에서도 헤딩 각도 예측 성능이 양호했다.
• 합성 데이터로만 훈련되었음에도 불구하고 실제 세계 데이터에 강력한 제로샷 일반화 성능를 보였으며, 이는 강력한 일반화 능력을 시사한다.
• 질적 결과에서 보듯이, 큰 시간 간격, 심한 음영, 변동하는 포인트 밀도 조건에서도 모델은 일관된 형상과 자세 예측을 유지했다.
• 통합 손실을 사용한 공동 훈련이 단계별 사전 훈련보다 성능 향상을 이룬다는 점에서 종단 간 최적화의 이점이 있음을 보여주었다.