[논문 리뷰] MotioNet: 3D Human Motion Reconstruction from Monocular Video with Skeleton Consistency

Mingyi Shi, Kfir Aberman외 5명|arXiv (Cornell University)|2020. 06. 22.

Human Pose and Action Recognition참고 문헌 41인용 수 16

한 줄 요약

MotioNet은 단일 영상에서 직접 일致하는 3D 뼈대와 시간적으로 일관된 관절 회전을 예측함으로써 후행적 역운동학 해법(IK)이 필요 없도록 하는 딥러닝 프레임워크이다. 정방향 운동학과 적대적 학습을 통합함으로써, 가림과 깊이 모호성에도 불구하고 강건하고 자연스러운 운동 재구성을 달성한다.

ABSTRACT

We introduce MotioNet, a deep neural network that directly reconstructs the motion of a 3D human skeleton from monocular video.While previous methods rely on either rigging or inverse kinematics (IK) to associate a consistent skeleton with temporally coherent joint rotations, our method is the first data-driven approach that directly outputs a kinematic skeleton, which is a complete, commonly used, motion representation. At the crux of our approach lies a deep neural network with embedded kinematic priors, which decomposes sequences of 2D joint positions into two separate attributes: a single, symmetric, skeleton, encoded by bone lengths, and a sequence of 3D joint rotations associated with global root positions and foot contact labels. These attributes are fed into an integrated forward kinematics (FK) layer that outputs 3D positions, which are compared to a ground truth. In addition, an adversarial loss is applied to the velocities of the recovered rotations, to ensure that they lie on the manifold of natural joint rotations. The key advantage of our approach is that it learns to infer natural joint rotations directly from the training data, rather than assuming an underlying model, or inferring them from joint positions using a data-agnostic IK solver. We show that enforcing a single consistent skeleton along with temporally coherent joint rotations constrains the solution space, leading to a more robust handling of self-occlusions and depth ambiguities.

연구 동기 및 목표

• 관절 위치만 복원하는 3D 자세 추정 방법의 한계를 해결하기 위해 뼈대 일치성과 뼈대 레이아웃 호환성을 확보하고자 한다.
• 데이터 기반의 종단 간(end-to-end) 운동 표현을 학습하여 기존 역운동학 해법(IK)의 모호성과 불안정성을 극복하고자 한다.
• 운동 시퀀스 전반에 걸쳐 고정된 뼈대 길이를 갖는 단일 대칭 뼈대를 강제함으로써 시간적 일관성과 기하학적 불변성을 확보하고자 한다.
• 학습된 사전 지식과 노이즈 증강 훈련을 통해 자가 가림과 깊이 모호성에 대한 강건성을 향상시키고자 한다.
• 전역 루트 위치, 관절 회전, 발 접촉 레이블을 포함한 완전한 애니메이션 준비된 운동 표현을 생성하고자 한다.

제안 방법

• 네트워크는 2D 관절 위치를 두 가지 속성으로 분해한다: 단일 대칭 뼈대(뼈 길이로 표현)와 전역 루트 위치, 발 접촉 레이블을 포함한 3D 관절 회전 시퀀스.
• 통합된 정방향 운동학(FK) 레이어는 뼈대 계층에 따라 예측된 회전을 적용하여 3D 관절 위치를 재구성하고, 이를 진짜 값과 비교한다.
• 다중 작업 손실은 뼈대 길이, 루트 위치, 발 접촉 레이블, 3D 관절 위치에 대한 감독을 통합하여 기하학적 및 동적 일관성을 확보한다.
• 예측된 관절 회전 속도에 대해 적대적 손실을 적용하여 자연스러운 인간 운동의 다양체(manifold)를 따르도록 유도한다.
• 발 접촉 손실을 도입하여 접촉 단계 동안 발의 속도를 0으로 강제함으로써 발 스케이팅 아티팩트를 억제한다.
• 훈련 데이터는 임의의 노이즈와 신뢰도 마스크를 적용하여 실제 영상 품질을 시뮬레이션하고, 가림 및 자세 추정 오차에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 역운동학에 의존하지 않고 단일 영상에서 직접 일관된 3D 뼈대와 시간적으로 일관된 관절 회전을 예측할 수 있는 딥 뉴럴 네트워크가 존재하는가?
• RQ2 고정된 단일 뼈대를 강제함으로써 단일 영상 운동 재구성에서 깊이 모호성과 자가 가림에 대한 강건성이 어떻게 향상되는가?
• RQ3 관절 회전 속도에 대한 적대적 훈련이 재구성된 인간 운동의 자연스러움과 현실감을 어느 정도 향상시키는가?
• RQ4 발 접촉 예측 정확도는 발 위치에 대한 명시적 감독 없이도 관절 위치 오차를 줄이는 데 어떤 영향을 미치는가?
• RQ5 전통적인 IK 기반 또는 자세만 복원하는 방법과 비교할 때, 네트워크의 종단 간 데이터 기반 접근 방식은 운동 품질과 레이아웃 호환성 측면에서 어떤가?

주요 결과

• MotioNet은 직접적으로 운동학적으로 일관된 뼈대와 관절 회전을 예측함으로써 단일 영상에서의 3D 인간 운동 재구성 분야에서 최고 성능을 달성한다.
• 발 접촉 레이블 예측 능력과 함께 발 위치 오차가 뚜렷하게 감소함을 보여주며, 이는 접촉 예측이 위치 정확도 향상에 기여함을 시사한다.
• 회전 속도에 대한 적대적 손실은 예측된 회전이 실제 인간 운동의 다양체에 더 가까이 위치함으로써 더 자연스럽고 시간적으로 일관된 운동을 만들어낸다.
• 신뢰도 마스크와 함께 노이즈 증강 훈련을 적용함으로써 가림과 노이즈가 있는 2D 관절 키포인트 입력에 대한 강건성이 향상되었으며, 실제 영상 조건을 잘 시뮬레이션한다.
• 고정된 뼈대와 관절 회전을 종단 간으로 학습함으로써 기존 IK 해법의 불안정성과 모호성을 피하여 더욱 일관되고 현실적인 운동 시퀀스를 생성한다.
• 출력된 운동 표현은 표준 애니메이션 파이프라인과 완전히 호환되며, 추가 처리 없이도 레이아웃이 적용된 스킨이 된 3D 캐릭터 운동을 직접 제공한다.