[논문 리뷰] PhysDiff: Physics-Guided Human Motion Diffusion Model

Ye Yuan, Jiaming Song외 3명|arXiv (Cornell University)|2022. 12. 05.

Human Pose and Action Recognition인용 수 12

한 줄 요약

PhysDiff는 노이즈 제거 과정 중에 반복적으로 물리 기반 운동 투영을 적용하여 물리적 타당성을 강제하는 물리 지도형 확산 모델을 제안한다. 각 단계에서 물리 시뮬레이터에서 운동 모방 정책을 사용해 노이즈 제거된 운동을 보정함으로써, 데이터셋 전반에서 물리적 오류를 78% 이상 감소시키며 최신 기술 수준의 운동 품질을 달성한다. 이는 후처리 및 표준 확산 모델보다 뛰어나다.

ABSTRACT

Denoising diffusion models hold great promise for generating diverse and realistic human motions. However, existing motion diffusion models largely disregard the laws of physics in the diffusion process and often generate physically-implausible motions with pronounced artifacts such as floating, foot sliding, and ground penetration. This seriously impacts the quality of generated motions and limits their real-world application. To address this issue, we present a novel physics-guided motion diffusion model (PhysDiff), which incorporates physical constraints into the diffusion process. Specifically, we propose a physics-based motion projection module that uses motion imitation in a physics simulator to project the denoised motion of a diffusion step to a physically-plausible motion. The projected motion is further used in the next diffusion step to guide the denoising diffusion process. Intuitively, the use of physics in our model iteratively pulls the motion toward a physically-plausible space, which cannot be achieved by simple post-processing. Experiments on large-scale human motion datasets show that our approach achieves state-of-the-art motion quality and improves physical plausibility drastically (>78% for all datasets).

연구 동기 및 목표

• 기존 운동 확산 모델에서 물리적 타당성이 부족하여 둥둥 떠오르는 것, 발 미끄러짐, 지면 관통 등의 아티팩트가 자주 발생하는 문제를 해결하기 위해.
• 후처리 단계가 아닌 확산 과정에 직접 물리 제약 조건을 통합하여 운동 품질과 물리적 현실감을 향상시키기 위해.
• 각 확산 단계에서 노이즈 제거된 운동을 보정하기 위해 물리 시뮬레이터에서 운동 모방을 사용하는 물리 기반 운동 투영 모듈을 개발하기 위해.
• 물리적 타당성과 운동 품질 간의 균형을 고려해 물리 기반 투영 단계의 최적 스케줄링을 조사하기 위해.
• 확산과 물리의 반복적 결합이 과정 종료 후 후처리보다 우월한데, 후처리 방식은 운동 품질을 불안정하게 만들거나 떨어뜨릴 수 있음을 입증하기 위해.

제안 방법

• 학습된 운동 모방 정책을 사용해 물리 엔진에서 노이즈 제거된 운동을 시뮬레이션하고 보정하는 물리 기반 운동 투영 모듈을 도입한다.
• 다양한 확산 단계에서 투영 모듈을 적용하여, 데이터 분포 일치를 유지하면서도 물리적으로 타당한 공간으로 운동을 반복적으로 정밀화한다.
• 대규모 운동 캡처 데이터를 기반으로 훈련된 미분 가능 운동 모방 정책을 사용해 시뮬레이터 내 캐릭터 에이전트를 제어하고 접촉, 균형, 역학을 강제한다.
• 각 노이즈 제거 단계 이후에 물리 투영을 적용하는 확산 과정을 사용하여, 물리 제약 조건이 생성 과정 전반에 걸쳐 통합되도록 보장한다.
• 물리 투영 단계를 다양한 타임스텝(예: 과정 종료 시, 균일한 간격, 분산된 간격)에 배치하여 물리적 타당성과 운동 품질 간의 상충 관계를 연구한다.
• 기존 노이즈 제거 네트워크(MDM, MotionDiffuse 등)와의 호환성을 유지하여 재훈련 없이 최신 기술 수준 모델을 즉각적으로 향상시킬 수 있도록 한다.

실험 결과

연구 질문

• RQ1 확산 과정 중에 반복적인 물리 투영을 적용할 경우, 후처리 대비 물리적 타당성이 크게 향상되는가?
• RQ2 물리적 타당성과 운동 품질 간의 균형을 고려할 때, 물리 기반 투영을 적용할 최적의 스케줄링은 무엇인가?
• RQ3 확산 과정에 물리를 통합할 경우, 둥둥 떠오름이나 발 미끄러짐 등의 아티팩트를 줄이면서도 운동 품질을 유지하거나 향상시키는가?
• RQ4 물리 투영 단계의 수가 물리적 현실감과 자연스러운 운동 품질 간의 상충 관계에 어떻게 영향을 미치는가?
• RQ5 물리 지도형 확산 모델이 HumanML3D 및 HumanAct12와 같은 표준 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• PhysDiff는 텍스트 기반 운동 생성에 대해 HumanML3D 벤치마크에서 물리적 오류를 86% 이상 감소시켜 기준 확산 모델을 크게 앞서간다.
• HumanAct12 및 UESTC 데이터셋에서 물리적 오류 지표는 각각 78%와 94% 향상되었으며, 경쟁력 있는 FID 점수를 유지했다.
• End 4, Space 1 스케줄링—마지막 단계에서 연속으로 네 번의 물리 투영을 1단계 간격으로 적용—이 물리적 타당성과 운동 품질 간 최적의 균형을 이룬다.
• 과정 종료 후 물리 투영을 통한 후처리에서는 운동 품질 향상이 실패하고, 종종 품질을 떨어뜨린다. 왜냐하면 최종 운동이 너무 물리적으로 타당하지 않아 안정적인 시뮬레이션을 수행하기 어려운 경우가 있기 때문이다.
• 물리 투영 단계가 많을수록 물리적 타당성이 향상되지만, 일정 수준 이상에서는 운동 품질이 감소함을 보여, 명확한 상충 관계가 존재하고 이를 균형 있게 조절해야 함을 시사한다.
• 물리 시뮬레이션으로 인해 MDM 대비 2.5배 느리지만, 배치 크기가 256일 경우 추론 속도 격차는 1.7배로 좁혀져 병렬화 잠재력이 있음을 보여준다.