[논문 리뷰] 3D Human Pose Estimation from a Single Image via Distance Matrix Regression

Francesc Moreno-Noguer|RECERCAT (Consorci de Serveis Universitaris de Catalunya)|2016. 11. 28.

Human Pose and Action Recognition참고 문헌 47인용 수 14

한 줄 요약

이 논문은 2D에서 3D 유클리드 거리 행렬(EDM)로의 회귀를 통해 단일 이미지에서 3차원 인간 자세 추정을 위한 새로운 방법을 제안한다. 간단한 완전 연결 또는 완전 컨volution 네트워크를 합성 데이터로 훈련시켜 2D 검출 노이즈와 가림 현상에 대한 강건성을 향상시키며, Humaneva-I 및 Human3.6M에서 최신 기준 성능을 달성하고, LSP 데이터셋의 제약 없는 이미지로도 우수한 일반화 성능을 보인다.

ABSTRACT

This paper addresses the problem of 3D human pose estimation from a single image. We follow a standard two-step pipeline by first detecting the 2D position of the $N$ body joints, and then using these observations to infer 3D pose. For the first step, we use a recent CNN-based detector. For the second step, most existing approaches perform 2$N$-to-3$N$ regression of the Cartesian joint coordinates. We show that more precise pose estimates can be obtained by representing both the 2D and 3D human poses using $N imes N$ distance matrices, and formulating the problem as a 2D-to-3D distance matrix regression. For learning such a regressor we leverage on simple Neural Network architectures, which by construction, enforce positivity and symmetry of the predicted matrices. The approach has also the advantage to naturally handle missing observations and allowing to hypothesize the position of non-observed joints. Quantitative results on Humaneva and Human3.6M datasets demonstrate consistent performance gains over state-of-the-art. Qualitative evaluation on the images in-the-wild of the LSP dataset, using the regressor learned on Human3.6M, reveals very promising generalization results.

연구 동기 및 목표

• 관절 구성의 구조적 사전 지식을 활용하여 단일 RGB 이미지에서 3차원 인간 자세 추정의 불안정한 성격을 해결한다.
• 직접적인 2D에서 3D 카르테시안 좌표 회귀 방식의 한계를 극복하며, 이는 노이즈에 민감하고 구조적 불변성이 결여되어 있다.
• 합성 데이터에서 학습하고 거리 행렬을 통해 자세 기하학을 인코딩하여 제약 없는 실세계 이미지로의 일반화를 향상시킨다.
• 거리 행렬을 통한 쌍별 관절 관계 모델링을 통해 부족하거나 가려진 신체 부위의 가설을 수립할 수 있도록 한다.
• 통제된 노이즈와 가림 현상이 포함된 합성 데이터로 훈련된 얕은 신경망을 사용하여 높은 정확도와 강건성을 달성한다.

제안 방법

• N×N 유클리드 거리 행렬(EDM)로 2D 및 3D 인간 자세를 표현하여 N개의 신체 관절 간의 쌍별 거리를 인코딩한다.
• 3D 자세 추정 작업을 2D에서 3D EDM으로의 회귀 문제로 설정하며, 입력은 2D EDM이고 출력은 예측된 3D EDM이다.
• 입력 크기가 작을 경우(관절 수 N=14)를 고려해 완전 연결(FConn) 및 완전 컨볼루션(FConv) 신경망을 2D EDM에서 3D EDM으로 매핑하도록 훈련한다.
• EDM이 본질적으로 대칭적이고 양의 준정부호이므로, 네트워크 출력에 대해 구조적 제약(양성, 대칭성)을 구조적으로 강제한다.
• 표준 기법인 다차원 척도법(MDS)을 사용하여 예측된 3D EDM에서 3D 관절 좌표를 재구성한다.
• 2D 검출기 노이즈와 관절 가림을 포함한 합성 훈련 데이터를 생성하여 강건성을 향상시키며, EDM이 관절 위치에만 의존하므로 이를 활용한다.

실험 결과

연구 질문

• RQ1 2D 및 3D 자세를 거리 행렬로 표현하는 것이 직접적인 2D에서 3D 좌표 회귀 방식보다 3D 자세 추정 정확도를 향상시키는가?
• RQ2 거리 행렬 회귀 방식이 2D 검출 노이즈와 부분적인 관절 가림에 대해 강건성을 향상시키는가?
• RQ3 Human3.6M와 같은 통제된 실내 환경 데이터셋에서 훈련된 모델이 LSP와 같은 제약 없는 실세계 이미지로 효과적으로 일반화되는가?
• RQ4 가려진 또는 관측되지 않은 관절의 3D 위치를 유일하게 가시 관절 간의 거리 정보로 얼마나 잘 추측할 수 있는가?
• RQ5 간단한 신경망 아키텍처가 노이즈와 가림 현상이 포함된 합성 데이터로 훈련되었을 때 2D에서 3D EDM으로의 회귀에서 어떤 성능을 보이는가?

주요 결과

• 제안된 방법은 Humaneva-I 및 Human3.6M 벤치마크에서 최신 기준 성능을 달성하며, 이전 방법들보다 3D 자세 추정 정확도에서 뛰어난 성능을 보였다.
• Humaneva-I 데이터셋에서 프로토콜 #3 하에서 평균 3D 오차가 104.8 mm로 기록되었으며, 이는 이전 접근 방식보다 유의미하게 향상된 결과이다.
• 제약 없는 이미지로의 일반화 성능이 뛰어나, LSP 데이터셋에서 예측된 3D 자세의 2D 재투영 오차는 평균 6.76 픽셀로, CPM 검출기만을 사용했을 때의 9.08 픽셀보다 낮았다.
• 2D 검출기에 표준편차 20 픽셀의 가우시안 노이즈를 추가한 상황에서도 3D 오차가 점진적으로 증가하며 합리적인 범위 내에 유지되어, 검출 노이즈에 대한 강건성이 뛰어나다는 것을 시사한다.
• 완전 컨볼루션 네트워크 변종은 가려진 사지의 위치를 성공적으로 추측하며, 구조적 및 무작위 가림 상황 모두에서 일관된 성능을 보였지만, '앉기'나 '사진 찍기'와 같은 드문 자세에서는 성능이 약간 떨어졌다.
• LSP 이미지에 대한 결과의 시각적 점검을 통해, 훈련 중에 관찰하지 못한 새로운 동작과 시점에 대해서도 합리적인 3D 자세를 생성함을 확인할 수 있었다.