[논문 리뷰] View Invariant Human Body Detection and Pose Estimation from Multiple Depth Sensors

Walid Bekhtaoui, Ruhan Sa외 5명|arXiv (Cornell University)|2020. 05. 08.

Human Pose and Action Recognition참고 문헌 31인용 수 6

한 줄 요약

이 논문은 다중 깊이 센서의 포인트 클라우드를 입력 수준에서 융합하여 도전적인 실내 환경에서도 더 높은 내구성을 확보하는 엔드 투 엔드 다중 인물 3D 인간 자세 추정 네트워크인 Point R-CNN을 제안한다. 포인트 클라우드를 처리하기 전에 병합함으로써, 이 방법은 계단식 모델보다 뛰어난 성능을 달성하고 카메라 장애, 시야 변화, 혼잡한 장면에서도 잘 일반화되며, CMU Panoptic 및 MVOR 데이터셋에서 최신 기준 성능을 초월한다.

ABSTRACT

Point cloud based methods have produced promising results in areas such as 3D object detection in autonomous driving. However, most of the recent point cloud work focuses on single depth sensor data, whereas less work has been done on indoor monitoring applications, such as operation room monitoring in hospitals or indoor surveillance. In these scenarios multiple cameras are often used to tackle occlusion problems. We propose an end-to-end multi-person 3D pose estimation network, Point R-CNN, using multiple point cloud sources. We conduct extensive experiments to simulate challenging real world cases, such as individual camera failures, various target appearances, and complex cluttered scenes with the CMU panoptic dataset and the MVOR operation room dataset. Unlike most of the previous methods that attempt to use multiple sensor information by building complex fusion models, which often lead to poor generalization, we take advantage of the efficiency of concatenating point clouds to fuse the information at the input level. In the meantime, we show our end-to-end network greatly outperforms cascaded state-of-the-art models.

연구 동기 및 목표

• 수술실 및 감시 시스템과 같은 다중 카메라 실내 환경에서 시야에 관계없이 인간 신체를 탐지하고 3D 자세를 추정하는 문제를 해결하기 위해.
• 포인트 클라우드를 사용한 단순하고 효율적인 입력 수준 융합 전략을 제안하여 복잡한 다중 센서 융합 모델의 낮은 일반화 능력을 극복하기 위해.
• 다중 인물 3D 객체 탐지 및 관절점 회귀를 동시에 수행하는 엔드 투 엔드 딥 러닝 프레임워크를 개발하여 정확도와 내구성을 향상시키기 위해.
• 실제 실패 시나리오, 즉 카메라 장애, 시야 변화, 혼잡한 배경을 고려하여 실세계 데이터셋을 사용해 방법을 평가하기 위해.

제안 방법

• 3D 합성곱 신경망에 입력하기 전에 다중 깊이 센서의 포인트 클라우드를 입력 수준에서 병합함으로써, 복잡한 후기 단계 또는 특징 수준 융합을 피하는 방식으로 포인트 클라우드를 융합한다.
• Point R-CNN는 볼록화된 포인트 클라우드 입력을 사용하여 3D 사람 탐지 및 3D 관절점 회귀를 동시에 수행하는 엔드 투 엔드 아키텍처이다.
• 볼록화된 포인트 클라우드에 대해 영역 제안 네트워크(RPN)를 적용하여 3D 객체 제안을 생성한 후, 분할된 인간 신체 포인트에 대해 관절점 회귀를 수행한다.
• 모델은 CMU Panoptic 및 MVOR 데이터셋에서 훈련 및 미세조정되며, 카메라 장애 및 시야 변화를 시뮬레이션하기 위해 데이터 증강 기법을 적용한다.
• 포인트 클라우드 처리를 위해 PointNet 스타일의 연산을 활용하고, 사전 처리 없이도 특징 학습을 향상시키기 위해 공간 변환을 통합한다.
• 표준 평가 지표를 사용하여 평가한다: 센티미터 단위의 평균 관절 위치 오차(MPJPE) 및 10cm 이내 정확도.

실험 결과

연구 질문

• RQ1 다중 센서 포인트 클라우드의 입력 수준 융합이 다중 인물 3D 자세 추정에서 복잡한 후기 융합 또는 특징 수준 융합 모델보다 우월한 성능을 내는가?
• RQ2 실제 환경의 도전 과제, 예를 들어 카메라 장애 및 시야 변화 상황에서 제안된 엔드 투 엔드 네트워크는 얼마나 잘 일반화되는가?
• RQ3 복잡한 배경이 있는 혼잡한 실내 환경, 예를 들어 수술실과 같은 장소에서 이 방법은 높은 정확도를 유지하는가?
• RQ4 탐지 및 관절점 회귀 성능 측면에서 엔드 투 엔드 아키텍처는 계단식 모델보다 어떻게 비교되는가?

주요 결과

• CMU Panoptic 데이터셋에서 Point R-CNN는 평균 관절 거리 10.24cm 및 10cm 이내 정확도 59.4%를 기록하여 기준 모델 [1]+[16]보다 우월한 성능(13.80cm, 33.1%)을 보였다.
• 시야 및 액터 일반화 테스트에서 이 방법은 평균 거리 9.33cm 및 10cm 이내 정확도 65.64%를 기록했으며, 기준 모델 대비 10.90cm 및 53.6%를 기록했다.
• 혼잡한 장면이 많은 과도한 MVOR 데이터셋에서 Point R-CNN는 평균 거리 17.70cm 및 10cm 이내 정확도 26.1%를 기록하여 기준 모델(24.96cm, 15.4%)보다 뚜렷하게 뛰어난 성능을 보였다.
• 엔드 투 엔드 Point R-CNN 모델은 CMU Panoptic 데이터셋에서 평균 정밀도(AP) 90.54%를 기록했으며, 계단식 기준 모델 대비 80.65%를 기록했다.
• 그림 7의 정성적 결과는 다양한 장면에서 일관되고 정확한 자세 추정을 보여주며, 빨간색(예측)과 초록색(참값) 뼈대가 밀도 있게 일치한다.
• 카메라 장애 시뮬레이션에서 이 방법은 최대 50%의 카메라가 무작위로 비활성화된 상황에서도 높은 성능을 유지하며 강건성을 입증했다.