[논문 리뷰] OmniControl: Control Any Joint at Any Time for Human Motion Generation

Yiming Xie, Varun Jampani외 3명|arXiv (Cornell University)|2023. 10. 12.

Human Pose and Action Recognition인용 수 5

한 줄 요약

OmniControl는 공간적 지도와 현실성 지도의 새로운 조합을 통해 어떤 관절이든 언제든 정밀한 공간적 제어를 가능하게 하는 확산 기반 텍스트 조건부 인간 운동 생성 모델이다. 이는 하나의 통합 모델로도 허브먼3D와 킷-ML에서 최고 성능을 기록하며, 허리와 다중관절 제어 시나리오에서 이전 방법들을 크게 앞서며 제어 정확도와 운동의 현실성 모두에서 뛰어난 성능을 보인다.

ABSTRACT

We present a novel approach named OmniControl for incorporating flexible spatial control signals into a text-conditioned human motion generation model based on the diffusion process. Unlike previous methods that can only control the pelvis trajectory, OmniControl can incorporate flexible spatial control signals over different joints at different times with only one model. Specifically, we propose analytic spatial guidance that ensures the generated motion can tightly conform to the input control signals. At the same time, realism guidance is introduced to refine all the joints to generate more coherent motion. Both the spatial and realism guidance are essential and they are highly complementary for balancing control accuracy and motion realism. By combining them, OmniControl generates motions that are realistic, coherent, and consistent with the spatial constraints. Experiments on HumanML3D and KIT-ML datasets show that OmniControl not only achieves significant improvement over state-of-the-art methods on pelvis control but also shows promising results when incorporating the constraints over other joints.

연구 동기 및 목표

• 텍스트 조건부 운동 생성 과정에서 어떤 시간대에나 인간의 어떤 관절에 대해서도 융통성 있는 공간적 제어를 가능하게 하기 위해.
• 기존의 인painting 기반 방법에서 흔히 볼 수 있는 상대 자세 표현의 한계를 극복하여 정확한 전역 공간 제어를 방해하는 요소를 제거하기 위해.
• 각 관절에 별도의 모델이 필요 없이 동시에 여러 관절을 제어할 수 있는 통합 모델을 개발하기 위해.
• 높은 제어 정확도와 운동의 현실성 사이의 균형을 유지하여 부자연스럽거나 이격되는 운동을 방지하기 위해.

제안 방법

• 생성된 운동을 전역 좌표계로 변환하여 입력 제어 신호에 대해 기울기를 계산하는 분석적 공간 지도를 도입하여 직접적이고 정확한 보정을 가능하게 한다.
• 모든 레이어에 걸쳐 주의 메커니즘의 특징에 잔차를 주입함으로써 확산 모델 전반에 걸쳐 운동을 암묵적으로 보정하는 현실성 지도를 활용한다.
• 모델의 입력과 출력에 상대 자세 표현을 사용함으로써 효과성을 유지하면서도 지도 모듈 내의 좌표 변환을 통해 전역 제어를 가능하게 한다.
• 추론 시간과 정확도 사이의 균형을 맞추기 위해 반복 횟수(Ke, Kl)와 임계값(Ts)을 설정할 수 있는 반복적이고 동적 보정 전략을 채택한다.
• 공간 지도와 현실성 지도를 상호 보완적으로 조합한다: 공간 지도는 제약 조건 준수를 보장하고, 현실성 지도는 운동의 일관성과 물리적 타당성을 유지한다.
• 다중관절 제어를 지원하는 단일 모델을 훈련시켜 환경 및 물체와의 복잡한 상호작용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 일관된 확산 기반 모델이 허리 이외의 관절에 대해서도 언제든 정밀한 공간 제어를 수행할 수 있는가?
• RQ2 상대 자세 기반 운동 생성 프레임워크에 공간 제어 신호를 상대 위치 가정에 의존하지 않고 효과적으로 통합할 수 있는가?
• RQ3 공간 지도와 현실성 지도를 조합함으로써 제어 정확도와 운동의 현실성 간 균형을 어떻게 개선할 수 있는가?
• RQ4 통합 모델이 동시에 여러 관절을 효과적으로 제어할 수 있으며, 이로 인해 인간-환경 상호작용이 복잡하게 구현될 수 있는가?
• RQ5 특히 희박하거나 조밀한 제어 신호 밀도 조건에서 모델의 성능은 어떻게 변화하는가?

주요 결과

• OmniControl는 허리 제어 시 밀도 높은 공간 신호 조건에서 기준 방법 대비 평균 오차(Avg. err.)를 90% 감소시켰다.
• 노이즈가 섞인 입력 운동에 대해 기울기를 계산하는 변형 대비, 기울기 계산 전략의 효과성을 입증하기 위해 평균 오차를 83.8% 감소시켰다.
• 현실성 지도 없이 제작된 경우 FID가 50% 증가하고 운동 일관성이 심각하게 악화되어 현실성 지도가 물리적 타당성을 유지하는 데 핵심적인 역할을 한다는 점을 입증했다.
• OmniControl는 다양한 신호 밀도 조건에서도 안정적인 성능을 유지하지만, MDM과 PriorMDM는 밀도가 증가함에 따라 FID와 발바닥 스크래칭 비율이 급격히 증가하는 경향을 보였다.
• OmniControl는 HumanML3D와 KIT-ML 데이터셋 모두에서 최고 성능을 기록하여 이전의 접근 방식보다 제어 정확도와 운동의 현실성 측면에서 모두 뛰어난 결과를 도출했다.
• 단일 통합 프레임워크 내에서 다중관절 제어를 지원함으로써, 생성된 운동을 주변 물체에 연결하는 등의 복잡한 후행 응용 프로그램을 성공적으로 수행할 수 있었다.