[논문 리뷰] Large Area 3D Human Pose Detection Via Stereo Reconstruction in Panoramic Cameras

Christoph Heindl, Thomas Pönitz외 2명|arXiv (Cornell University)|2019. 07. 01.

Human Pose and Action Recognition참고 문헌 42인용 수 5

한 줄 요약

이 논문은 두 대의 풍경 광각 카메라를 사용하여 대규모 영역에서 3차원 인간 자세 추정을 수행하는 시스템을 제안한다. 직선 시점 변환을 활용해 재학습 없이도 표준 2D 딥러닝 자세 추정기 알고리즘을 적용할 수 있도록 하며, 6×6미터 영역에서 2–3cm의 정확도를 달성하여 최소한의 하드웨어 및 캘리브레이션 오버헤드로도 견고한 인체공학적 분석을 가능하게 한다.

ABSTRACT

We propose a novel 3D human pose detector using two panoramic cameras. We show that transforming fisheye perspectives to rectilinear views allows a direct application of two-dimensional deep-learning pose estimation methods, without the explicit need for a costly re-training step to compensate for fisheye image distortions. By utilizing panoramic cameras, our method is capable of accurately estimating human poses over a large field of view. This renders our method suitable for ergonomic analyses and other pose based assessments.

연구 동기 및 목표

• 광각 광학 렌즈를 사용한 넓은 시야각에서 정확한 3차원 인간 자세 추정 문제를 해결한다.
• 비피날렌 카메라 모델로 인해 비피날렌 렌즈 왜곡이 발생하는 광각 렌즈와 호환되지 않는 표준 2D 자세 추정기의 한계를 극복한다.
• 광각 렌즈 왜곡에 특화된 재학습 없이도 실용적인 대규모 3차원 자세 추정을 가능하게 한다.
• 장애물과 복잡한 카메라 구성 조건에서도 정상적인 동작과 정확도를 유지함을 입증한다.
• 최소한의 카메라 하드웨어로도 광범위한 작업 공간에서 인체공학적 및 생체역학적 평가를 지원한다.

제안 방법

• 왜곡된 이미지 포인트를 왜곡이 없는 좌표로 매핑하는 校정된 투영 모델을 사용해 원시 광각 이미지를 직선 시점으로 변환한다.
• 사전 학습된 2D 컬러블러 네트워크(COCO 기반)를 보정된 시점에 적용하여 키포인트 검출을 수행하며, 광각 왜곡에 특화된 재학습을 방지한다.
• 일반적인 위치에 있는 두 대의 카메라에서의 스테레오 제약 조건을 이용해 삼각측량을 통해 3차원 관절 위치를 재구성한다.
• 반복적 캘리브레이션을 통해 재투영 오차를 최소화하는 내재 및 외재 파rameter를 추정한다.
• 광각 시야각을 동심원 고리(중앙, 외곽, 가장자리)로 분할하여 공간적 오차 분포를 분석하고 기하학적 정확도를 검증한다.
• 3차원 관절 일관성과 알려진 사지 길이 제약 조건을 기반으로 반복 최적화를 통해 자세 추정을 정밀하게 보정한다.

실험 결과

연구 질문

• RQ1 광각 이미지에서 직선 시점으로의 변환을 통해 사전 학습된 2D 딥러닝 자세 추정기의 재학습 없이 직접 적용할 수 있는가?
• RQ2 스테레오 광각 카메라를 사용할 때 6×6미터 대규모 영역에서의 3차원 자세 재구성 정확도는 얼마인가?
• RQ3 이미지 왜곡과 렌즈 가장자리 효과가 3차원 자세 추정 정확도에 미치는 영향은 무엇이며, 이를 정량적으로 보완할 수 있는가?
• RQ4 일반적인 위치에 있는 두 대의 광각 카메라에서의 스테레오 재구성은 장애물과 동적 운동 조건에서도 견고한 성능을 발휘할 수 있는가?
• RQ5 기존의 다중 카메라 설정에 비해 제안된 방법은 하드웨어 및 캘리브레이션 복잡성을 얼마나 줄일 수 있는가?

주요 결과

• 6×6미터 영역에서 3차원 자세 재구성 정확도가 2–3cm를 달성하였으며, 1.5m의 목표 길이에 대해 측정 오차는 중앙 영역 1.49±0.01m, 외곽 영역 1.52±0.018m, 가장자리 영역 1.56±0.035m였다.
• 광각 이미지에서 직선 시점으로의 생성이 사전 학습된 2D 자세 추정기의 재학습 없이 직접 적용 가능하게 하여 개발 노력을 크게 줄였다.
• 3차원 사지 길이 통계치는 15분 분량의 영상(10,800프레임) 동안 안정적인 값을 유지하였으며, 스테레오 설정의 정밀도 부족과 2D 검출 노이즈로 인한 미세한 변동이 있었다.
• 시야 제약으로 인해 얼굴 기능은 더 큰 신체 부위보다 덜 자주 재구성되었으며, 각 부위의 재구성 빈도는 다름(그림 9 참조).
• 성능 시간 측정 결과, 2D 검출이 계산을 주로 차지하여 640×640 해상도에서 1.80±0.05초가 소요되었으며, 직선 시점 생성 및 3차원 재구성은 100ms 미만이었다.
• 이 시스템은 장애물과 장애물이 있는 복잡한 환경에서도 일관된 3차원 자세 추정을 유지하며, 인체공학적 분석의 실현 가능성을 입증하였다.