[논문 리뷰] LiDARCap: Long-range Marker-less 3D Human Motion Capture with LiDAR Point Clouds

Jialian Li, Jingyi Zhang외 7명|arXiv (Cornell University)|2022. 03. 28.

Human Pose and Action Recognition인용 수 4

한 줄 요약

이 논문은 단일 LiDAR 센서를 사용하여 장거리, 마커리스 3D 인간 운동 캡처를 위한 새로운 데이터 기반 방법인 LiDARCap을 소개한다. 새로 제안된 LiDARHuman26M 데이터셋을 바탕으로 시간적 인코딩(PointNet++ 활용), 역운동역학, SMPL 최적화를 포함하는 3단계 파이프라인을 구현하여, 특히 저해상도 및 희소 포인트 클라우드 조건에서 RGB 기반 방법보다 뛰어난 성능을 달성한다.

ABSTRACT

Existing motion capture datasets are largely short-range and cannot yet fit the need of long-range applications. We propose LiDARHuman26M, a new human motion capture dataset captured by LiDAR at a much longer range to overcome this limitation. Our dataset also includes the ground truth human motions acquired by the IMU system and the synchronous RGB images. We further present a strong baseline method, LiDARCap, for LiDAR point cloud human motion capture. Specifically, we first utilize PointNet++ to encode features of points and then employ the inverse kinematics solver and SMPL optimizer to regress the pose through aggregating the temporally encoded features hierarchically. Quantitative and qualitative experiments show that our method outperforms the techniques based only on RGB images. Ablation experiments demonstrate that our dataset is challenging and worthy of further research. Finally, the experiments on the KITTI Dataset and the Waymo Open Dataset show that our method can be generalized to different LiDAR sensor settings.

연구 동기 및 목표

• LiDAR를 사용한 대규모, 장거리, 마커리스 3D 인간 운동 캡처 데이터셋의 부족을 보완한다.
• 거리로 인해 영상 품질이 악화되고 해상도가 낮아지는 장거리 환경에서 RGB 기반 방법의 한계를 극복한다.
• LiDAR의 환경 내구성과 장거리 깊이 감지 능력을 활용하는 데이터 기반 운동 캡처 파이프라인을 개발한다.
• 희소하고 노이즈가 많은 장거리 LiDAR 포인트 클라우드로부터 정확한 자세 추정이 가능한 강력한 베이스라인 방법인 LiDARCap을 제공한다.
• 실제 자율주행 데이터셋을 활용하여 다양한 LiDAR 센서 설정에 대한 방법의 일반화 능력을 입증한다.

제안 방법

• 전문적인 IMU 시스템을 활용해 동기화된 LiDAR 포인트 클라우드, RGB 영상, 정답 3D 인간 자세를 포함하는 다중모odal 대규모 데이터셋인 LiDARHuman26M를 제안한다.
• 희소 LiDAR 포인트 클라우드에서 계층적 공간 및 시간적 특징을 추출하기 위해 PointNet++를 활용하여 장거리 조건에서도 강력한 표현 학습을 가능하게 한다.
• 인코딩된 포인트 클라우드 특징을 바탕으로 관절 각도를 보정하기 위해 역운동역학 솔버를 통합하여 기하학적 타당성을 확보한다.
• 예측된 포인트 클라우드와 관측된 포인트 클라우드 간의 차이를 최소화함으로써 3D 인간 신체 형태 및 자세 파라미터를 최적화하기 위해 SMPL 최적화기를 활용한다.
• 3단계 파이프라인 설계: (1) PointNet++를 통한 포인트 클라우드의 시간적 인코딩, (2) 역운동역학을 이용한 자세 회귀, (3) 최종 보정을 위한 SMPL 기반 최적화.
• LiDARHuman26M 데이터셋에서 파이프라인을 종단 간(end-to-end)으로 훈련 및 평가하며, 각 구성 요소의 기여도를 검증하기 위한 분석 연구를 실시한다.

Figure 1 : Two scenes for data acquisition.

실험 결과

연구 질문

• RQ1 RGB 기반 방법이 실패하는 장거리 환경에서, 오직 LiDAR 포인트 클라우드만을 사용하는 데이터 기반 접근법이 안정적인 3D 인간 운동 캡처를 달성할 수 있는가?
• RQ2 장거리, 저해상도 조건에서 LiDAR 기반 운동 캡처의 성능은 최신 RGB 기반 방법과 비교해 어떻게 되는가?
• RQ3 제안된 LiDARCap 방법은 다양한 LiDAR 센서 설정과 실제 자율주행 데이터셋에 얼마나 잘 일반화되는가?
• RQ4 제안된 파이프라인의 각 구성 요소(예: PointNet++, IK 솔버, SMPL 최적화기)가 전체 운동 캡처 정확도에 미치는 영향은 어떠한가?
• RQ5 극한 거리에서 포인트 클라우드의 희소성과 노이즈는 LiDAR 기반 운동 캡처 성능에 어떤 영향을 미치며, 이러한 과제에도 불구하고 방법이 정확성을 유지할 수 있는가?

주요 결과

• LiDARCap은 VIBE와 같은 최신 RGB 기반 방법보다 장거리 운동 캡처에서 뛰어난 성능을 보이며, 이미지 품질이著しく 악화되는 20미터 이상의 거리에서도 유의미한 우월성을 확보한다.
• LiDARHuman26M 데이터셋에서 평균 관절 위치 오차(MPJPE)가 4.52 mm를 기록하여, 희소한 포인트 클라우드 조건에서도 높은 정확도를 입증한다.
• 분석 연구 결과, PointNet++와 역운동역학, SMPL 최적화의 조합이 최고의 성능을 내며, 전체 파이프라인은 기초 구성 요소 대비 MPJPE를 15.6% 감소시킨다.
• KITTI 및 Waymo Open Datasets에서 LiDARCap은 실제 도로 환경의 보행자 운동 시퀀스에 성공적으로 일반화되어, 낮은 포인트 밀도 조건에서도 발자국과 사지 방향을 정확히 예측한다.
• 거리 증가에 따라 포인트 수가 감소함(예: 28m에서 <30점)에 따라 성능이 저하되지만, 동일한 조건에서 VIBE보다 더 일관되고 타당한 자세 예측을 제공한다.
• LiDARHuman26M 데이터셋은 희소하고 장거리 포인트 클라우드에서 높은 정확도를 달성하기 어려운 난이도 높은 데이터셋으로, 향후 연구에 적합하다.

Figure 2 : Different human poses with the distance to LiDAR increasing.