[논문 리뷰] Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled Representation

Edoardo Remelli, Shangchen Han외 3명|arXiv (Cornell University)|2020. 04. 05.

Human Pose and Action Recognition참고 문헌 33인용 수 9

한 줄 요약

이 논문은 카메라와 분리된 표현 학습을 활용한 경량이며 실시간 다중 시점 3D 인간 자세 추정 방법을 제안한다. 2D 특징을 카메라에 의존하지 않는 잠재 공간에 융합하고 GPU 최적화된 미분 가능 DLT 레이어를 적용하여 H36M 및 Total Capture 데이터셋에서 최신 기술 수준의 정확도를 달성하면서도 약 25 FPS로 실행되며, 추가 데이터가 필요 없이 계산 비용이 큰 부피형 기반 모델을 능가한다.

ABSTRACT

We present a lightweight solution to recover 3D pose from multi-view images captured with spatially calibrated cameras. Building upon recent advances in interpretable representation learning, we exploit 3D geometry to fuse input images into a unified latent representation of pose, which is disentangled from camera view-points. This allows us to reason effectively about 3D pose across different views without using compute-intensive volumetric grids. Our architecture then conditions the learned representation on camera projection operators to produce accurate per-view 2d detections, that can be simply lifted to 3D via a differentiable Direct Linear Transform (DLT) layer. In order to do it efficiently, we propose a novel implementation of DLT that is orders of magnitude faster on GPU architectures than standard SVD-based triangulation methods. We evaluate our approach on two large-scale human pose datasets (H36M and Total Capture): our method outperforms or performs comparably to the state-of-the-art volumetric methods, while, unlike them, yielding real-time performance.

연구 동기 및 목표

• 3D 컨볼루션 네트워크에 의존하는 기존 부피형 다중 시점 3D 자세 추정 방법의 계산 비효율성을 해결한다.
• 3D 격자 연산을 피함으로써 VR 헤드셋과 같은 저성능 장치에서도 실시간 3D 자세 추정을 가능하게 한다.
• 분리된 캐논리컬 특징 융합 메커니즘을 통해 다중 시점에서 2D 관절 검출 정확도를 향상시킨다.
• 정확도를 유지하면서도 정확도를 손상시키지 않고 삼각측량을 가속화하기 위해 GPU 최적화된 DLT를 개발한다.
• 학습 중에 볼 수 없었던 카메라 시점에 일반화할 수 있도록 보장함으로써 강인성과 유연성을 향상시킨다.

제안 방법

• 공유 백본 네트워크를 사용해 각 입력 이미지를 잠재 표현으로 인코딩하고, 특징 변환 레이어를 통해 카메라 시점으로부터 분리된다.
• 카메라에 의존하지 않는 특징을 1D 컨볼루션을 통해 융합하여 캐논리컬 좌표 프레임 내에서 통합된 3D 자세 표현을 생성한다.
• 융합된 표현을 카메라 투영 행렬에 조건화하여 각 시점에 대해 얕은 2D CNN을 통해 2D 관절 위치를 복원한다.
• 미분 가능 직접 선형 변환(DLT) 레이어를 사용해 2D 검출 결과를 3D로 업프로젝션함으로써 엔드 투 엔드 학습을 가능하게 한다.
• SVD 대신 이동 반복을 사용한 새로운 GPU 가속 DLT를 구현하여 기존 SVD 기반 방법 대비 약 100배 빠른 속도를 달성한다.
• DLT 레이어를 통해 역전파를 수행함으로써 전체 파이프라인을 엔드 투 엔드로 학습하고, 3D MPJPE 손실을 최적화한다.

실험 결과

연구 질문

• RQ1 계산 비용이 큰 부피형 네트워크에 의존하지 않고도 다중 시점 3D 자세 추정을 실시간으로 수행할 수 있는가?
• RQ2 카메라 분리 잠재 표현은 독립적인 단일 시점 추정 대비 다중 시점에서 더 정확한 2D 관절 검출을 가능하게 하는가?
• RQ3 정확도 손실 없이 딥 러닝 파이프라인에서 SVD 기반 삼각측량을 대체할 수 있는 효율적이고 미분 가능한 DLT 구현은 가능한가?
• RQ4 학습 중에 볼 수 없었던 카메라 시점에 대해 이 방법은 얼마나 잘 일반화되는가?
• RQ5 제안된 방법은 최소한의 모델 크기와 낮은 추론 지연을 유지하면서도 최신 기술 수준의 정확도를 달성할 수 있는가?

주요 결과

• 제안된 캐논리컬 퓌전(Canonical Fusion) 방법은 TotalCapture 데이터셋에서 단순 특징 융합 대비 약 10% 향상되고, 단일 시점 기반 모델 대비 약 18% 향상된 2D 검출 정확도를 달성한다.
• DLT 레이어를 통해 역전파를 수행하는 엔드 투 엔드 학습을 통해, 비미분 가능 버전 대비 3D MPJPE에서 7% 향상된 성능을 기록하여 공동 최적화의 이점을 입증한다.
• Human3.6M 데이터셋에서 추가 2D 앵커레이션을 사용할 경우, Iskakov 등 [17]의 최신 부피형 방법보다 MPJPE에서 약 20% 향상된 성능을 기록한다.
• 단일 GPU에서 약 25 FPS(40ms 추론 시간)로 실행되며, Iskakov 등 [17]의 부피형 방법 대비 약 57배 빠르고, 그들의 대수적 삼각측량 기반 기준 대비 약 50배 빠르다.
• SOTA 부피형 방법(Iskakov 등 [17])과 유사한 정확도를 달성하면서도 모델 크기가 훨씬 작고(251MB 대비 643MB), 훨씬 더 빠르다.
• 학습 중에 볼 수 없었던 카메라 시점에 대해 잘 일반화되어, 학습 설정을 초월한 강인성과 유연성을 입증한다.