[논문 리뷰] HUM3DIL: Semi-supervised Multi-modal 3D Human Pose Estimation for Autonomous Driving

Andrei Zanfir, Mihai Zanfir외 5명|arXiv (Cornell University)|2022. 12. 15.

Video Surveillance and Tracking Methods인용 수 8

한 줄 요약

HUM3DIL는 자율주행을 위한 반감독형 다중모달 3D 인간 자세 추정 방법으로, 픽셀 정렬된 깊이 인식 특징을 사용하여 RGB 이미지와 LiDAR 포인트 클라우드를 융합하며, 일련의 Transformer 정밀화 단계를 거쳐 처리합니다. 제한된 3D 레이블과 풍부한 2D 레이블을 가진 Waymo Open Dataset에서 훈련되었으며, 3D MPJPE 6.72 cm의 최신 기술 수준 성능을 달성하여 실제 주행 환경에서 높은 정확도, 빠른 속도 및 뛰어난 강인성을 입증합니다.

ABSTRACT

Autonomous driving is an exciting new industry, posing important research questions. Within the perception module, 3D human pose estimation is an emerging technology, which can enable the autonomous vehicle to perceive and understand the subtle and complex behaviors of pedestrians. While hardware systems and sensors have dramatically improved over the decades -- with cars potentially boasting complex LiDAR and vision systems and with a growing expansion of the available body of dedicated datasets for this newly available information -- not much work has been done to harness these novel signals for the core problem of 3D human pose estimation. Our method, which we coin HUM3DIL (HUMan 3D from Images and LiDAR), efficiently makes use of these complementary signals, in a semi-supervised fashion and outperforms existing methods with a large margin. It is a fast and compact model for onboard deployment. Specifically, we embed LiDAR points into pixel-aligned multi-modal features, which we pass through a sequence of Transformer refinement stages. Quantitative experiments on the Waymo Open Dataset support these claims, where we achieve state-of-the-art results on the task of 3D pose estimation.

연구 동기 및 목표

• 자율주행 차량 내장형 배포에 최적화된 빠르고 경량이며 정확한 3D 인간 자세 추정 방법을 개발하기 위해.
• 통제되지 않은 실제 주행 환경에서 RGB 카메라와 LiDAR 센서의 상호보완적 신호를 효과적으로 활용하기 위해.
• 3D 레이블이 부족한 상황을 해결하기 위해 풍부한 2D 관절 레이블과 제한된 3D 레이블을 활용한 반감독 훈련 방식을 도입하기 위해.
• 가림, 다양한 거리, 부분 시야 등 도전적인 조건에서도 자세 추정 정확도를 향상시키기 위해.
• 간단한 3D 경계상자 이상의 정밀한 보행자 행동 이해를 가능하게 하기 위해 정확한 3D 관절 예측을 제공하기 위해.

제안 방법

• 모델은 3D LiDAR 포인트를 이미지 평면에 투영하여 픽셀 정렬된 다중모달 특징을 계산하고, 학습 가능한 임bedding을 사용해 RGB 특징과 융합합니다.
• U-Net 백본을 사용해 RGB 이미지에서 다중 해상도 특징을 추출하며, 깊이 정보는 추가 채널로 명시적으로 통합합니다.
• LiDAR 포인트는 Random Fourier Features (RFF)를 사용해 인코더 내에서 3D 공간 위치를 효과적으로 모델링할 수 있도록 임베딩됩니다.
• 일련의 Transformer 정밀화 단계를 거쳐 융합된 다중모달 특징에서 3D 관절 좌표를 점진적으로 회귀합니다.
• 모델은 반감독 훈련 방식으로 학습되며, 3D 관절에 대한 지도 학습 손실과 2D 관절 레이블에 대한 약한 지도 학습 손실을 결합하여 일반화 성능을 향상시킵니다.
• 효율성에 초점을 맞춘 아키텍처 설계로, 차량 내 실시간 추론에 적합한 성능을 제공합니다.

실험 결과

연구 질문

• RQ1 RGB와 LiDAR 데이터의 다중모달 융합이 통제되지 않은 자율주행 환경에서 3D 인간 자세 추정 정확도를 크게 향상시킬 수 있는가?
• RQ2 풍부한 2D 애너테이션과 제한된 3D 애너테이션을 활용한 반감독 훈련이 3D 자세 추정에 얼마나 효과적인가?
• RQ3 LiDAR에서 유도된 깊이 인식 및 공간 인식 특징 표현이, 특히 가림이나 장거리 조건에서 3D 관절 예측에 얼마나 기여하는가?
• RQ4 이러한 다중모달 3D 자세 추정 작업에서 Transformer를 정밀화 단계에 사용하는 것과 PointNet 또는 PointNet++과 같은 이전 아키텍처에 비해 어떤가?
• RQ5 RFF 임베딩, 깊이 입력, RGB 모odal 등 아키텍처 구성 요소가 최종 성능에 미치는 영향은 어떠한가?

주요 결과

• HUM3DIL은 Waymo Open Dataset에서 3D MPJPE 6.72 cm를 달성하여 기존 최신 기술 수준 방법들을 상당한 격차로 앞서며 성능을 뛰어나게 했습니다.
• 제거 실험 결과, 2D 약한 지도 학습 손실을 제거할 경우 3D MPJPE가 1.9 cm 증가하여, 2D 지도 학습이 3D 추정 정확도 향상에 핵심적인 역할을 한다는 점을 입증했습니다.
• LiDAR 포인트에 대한 Random Fourier Embedding을 비활성화할 경우 성능이 1.3 cm 저하되어, 3D 공간 위치 모델링에 있어 RFF의 중요성을 확인했습니다.
• RGB 모달을 제거할 경우 3D MPJPE가 1.3 cm 증가하여, 시각적 특징이 필수적인 보완 정보를 제공한다는 점을 확인했습니다.
• 최고와 최악의 거리 조건 간 성능 저하가 약 3 cm 수준이지만, 대부분의 거리 범위에서 안정적인 성능 유지를 보이며 극단적인 거리에서 오차가 점진적으로 감소하는 경향을 보였습니다.
• 완전 시야에서 심한 가림 상태로 전환할 경우 오차가 거의 두 배로 증가하는 것으로 나타나, 부분 시야 상황에서의 주요 과제임을 확인했습니다.