[논문 리뷰] OriNet: A Fully Convolutional Network for 3D Human Pose Estimation

Chenxu Luo, Xiao Chu외 1명|arXiv (Cornell University)|2018. 11. 12.

Human Pose and Action Recognition참고 문헌 18인용 수 45

한 줄 요약

OriNet은 사지 방향을 사지 영역에 bound하고 2D 키포인트를 공동 예측하여 단일 이미지에서 3D 인간 자세를 예측하는 완전 합성곱 접근법으로 강한 일반화 및 경계 상자 오류에 대한 강건성을 달성합니다.

ABSTRACT

In this paper, we propose a fully convolutional network for 3D human pose estimation from monocular images. We use limb orientations as a new way to represent 3D poses and bind the orientation together with the bounding box of each limb region to better associate images and predictions. The 3D orientations are modeled jointly with 2D keypoint detections. Without additional constraints, this simple method can achieve good results on several large-scale benchmarks. Further experiments show that our method can generalize well to novel scenes and is robust to inaccurate bounding boxes.

연구 동기 및 목표

• 강한 RGB 단일 이미지에서의 3D 자세 추정을 위해 엄밀한 자르는 요구나 고정 스케일 없이 추정의 필요성을 동기화한다.
• 사지를 위한 새로운 방향성 표현을 제안하여 뼈 길이와 자세를 분리하고 일반화를 개선한다.
• 완전 합성곱 프레임워크 내에서 사지 방향과 2D 키포인트 검출을 함께 모형화한다.
• OriNet가 불완전한 바운딩 박스에 대한 강건성을 보여주고 표준 벤치마크에서 경쟁력 있거나 최첨단 성능을 보임을 입증한다.

제안 방법

• 각 사지를 끝점 두 지점으로부터 도출된 단위 방향 벡터로 표현한다.
• 사지 세그먼트를 둘러싼 바운딩 박스를 통해 사지 방향을 대략적인 사지 영역에 바인딩하여 이미지와의 공간적 연관성을 보존한다.
• 각 사지에 대해 방향 맵을 만들고 사지 영역은 방향 벡터로 채우고 배경은 0으로 채운다; L_o = sum_k ||O_k - Ō_k||^2로 학습한다.
• 지향 맵과 함께 2D 키포인트 열지도도 병렬로 예측하고 시그모이드 교차 엔트로피 손실 L_p를 사용해 학습하며 L = L_o + λ L_p를 결합한다. λ = 0.2
• 스택드 어스글래스 백본(5-stack)을 채택해 스택 당 예측을 생성하고 이미지 특징, 키포인트 열지도, 방향 신호를 스택 간 융합하여 예측을 정제한다.
• 추론: 열지도에서 2D 키포인트를 추출하고 방향 맵에서 사지 영역을 자르고 각 영역에서 방향을 평균화한 후 사지 방향과 사지 길이 비율 및 스케일을 이용해 3D 자세를 회복한다.

실험 결과

연구 질문

• RQ1 사지 영역에 바인딩된 방향이 단일 모노큘러 이미지에서 3D 자세 추정에 강건한 표현을 제공하는가?
• RQ2 완전 합성곱 파이프라인에서 사지 방향과 2D 키포인트 검출을 결합하면 일반화 및 바운딩 박스 오류에 대한 강건성이 향상되는가?
• RQ3 FCN 아키텍처에서 방향 기반 예측이 직접 뼈 길이 또는 관절 좌표 회귀에 비해 어떤 차이를 보이는가?
• RQ4 OriNet의 일반화 성능은 데이터셋과 새로운 장면에서 어떤가?

주요 결과

• 방향 기반 표현은 스케일 불변이며 데이터셋과 새로운 장면에서 일반화를 향상시킨다.
• 사지 방향과 사지 영역 바운딩 박스를 결합하면 공간적 연관성을 보존하고 자세 추론을 향상시킨다.
• 이 방법은 Human3.6M 및 MPI-INF-3DHP 데이터셋에서 경쟁력 있거나 최첨단 결과를 달성하며 바운딩 박스 잡음에 대한 강건성을 보여준다.
• 배경에 강건하며 피사체를 촘촘히 자르는 의존도가 줄어든다.
• 단일 스택 및 다중 스택 구성에서 방향을 사용하면 뼈 길이 표현보다 우수한 성능을 보인다(ablations에서).
• Titan XP에서 20fps으로 예측 가능하여 실용적 효율성을 입증한다.