[논문 리뷰] NIFTY: Neural Object Interaction Fields for Guided Human Motion Synthesis

Nilesh Kulkarni, Davis Rempe외 5명|arXiv (Cornell University)|2023. 07. 14.

Human Pose and Action Recognition인용 수 8

한 줄 요약

NIFTY는 학습된 객체 상호작용 필드에 의해 안내되고 자동 합성 데이터 파이프라인을 통해 학습된 객체 조건부 확산 모델을 제안하여 물체와 상호 작용하는 현실적인 3D 인간 모션을 제시합니다. 좌식 및 들기 작업에 대한 모션 품질 개선과 현실적인 물체 상호 작용을 달성합니다.

ABSTRACT

We address the problem of generating realistic 3D motions of humans interacting with objects in a scene. Our key idea is to create a neural interaction field attached to a specific object, which outputs the distance to the valid interaction manifold given a human pose as input. This interaction field guides the sampling of an object-conditioned human motion diffusion model, so as to encourage plausible contacts and affordance semantics. To support interactions with scarcely available data, we propose an automated synthetic data pipeline. For this, we seed a pre-trained motion model, which has priors for the basics of human movement, with interaction-specific anchor poses extracted from limited motion capture data. Using our guided diffusion model trained on generated synthetic data, we synthesize realistic motions for sitting and lifting with several objects, outperforming alternative approaches in terms of motion quality and successful action completion. We call our framework NIFTY: Neural Interaction Fields for Trajectory sYnthesis.

연구 동기 및 목표

• 씬에 구애받지 않는 모션을 넘어 객체 상호 작용을 포함하는 현실적인 3D 인간 모션을 고무한다

제안 방법

• 객체 기하학에 조건을 걸 수 있도록 인간 모션 확산 모델을 확장한다
• 가이드용 포즈 다차원 거리(포즈 매니폴드 거리를 출력하는) 객체 중심의 상호 작용 필드를 도입한다
• 샘플링 품질 향상을 위해 분류자-프리 가이던스를 사용한다
• 앵커 포즈로 시드된 합성 파이프라인에서 생성된 데이터로 상호 작용 필드를 학습한다
• 시간 역전 프리-트레이드 모션 모델을 사용하여 소수의 앵커 포즈 세트로부터 대규모 상호 작용 모션 데이터를 자동으로 합성한다
• 정량적 및 지각적 지표를 사용하여 여러 물체에 대한 앉기 및 들기 상호 작용을 평가한다

실험 결과

연구 질문

• RQ1 객체 기하학에 조건화된 현실적인 인간-물체 상호 작용 모션을 어떻게 생성할 수 있는가?
• RQ2 학습된 상호 작용 필드가 확산 샘플링을 안내하여 침투를 줄이고 접촉 현실성을 향상시킬 수 있는가?
• RQ3 앵커 포즈로부터의 합성 데이터 생성이 여러 물체에 대한 효과적인 확산 및 상호 작용 필드 모델을 학습하기에 충분한가?
• RQ4 NIFTY 프레임워크를 사용하여 다양한 물체에서 앉기 및 들기 상호 작용은 어떻게 비교되는가?

주요 결과

• NIFTY는 물체에 도달하는 것, 낮은 침투, 현실적인 접촉 측면에서 기준선보다 우수하다.
• 학습된 상호 작용 필드로 가이드된 확산은 지각 연구에서 사용자 선호도가 더 높게 나타난다(베이스라인 대비 88-97%).
• 이 방법은 합성 상호 작용 데이터로 낮은 스켈레톤 거리와 높은 접촉 IoU를 달성한다.
• 오프셋 벡터 상호 작용 필드가 스칼라 거리 필드보다 더 우수한 성능을 보인다.
• 앵커 포즈로 시드된 합성 데이터 파이프라인은 학습에 적합한 큰 규모의 다양하고 상호 작용 데이터 세트를 생성할 수 있다.