[논문 리뷰] Back to Optimization: Diffusion-based Zero-Shot 3D Human Pose Estimation

Zhongyu Jiang, Zhuoran Zhou외 4명|arXiv (Cornell University)|2023. 07. 07.

Human Pose and Action RecognitionComputer Science인용 수 3

한 줄 요약

이 논문은 2D 키포인트 재투영 오차를 최소화하기 위해 사전 훈련된 확산 기반 3D 자세 생성 모델과 반복 최적화 파이프라인을 결합한 제로샷 3D 인간 자세 추정 프레임워크인 ZeDO를 제안한다. 최적화 루프 내에서 확산 모델을 노이즈 제거 정규화 요소로 사용함으로써, ZeDO는 2D-3D 또는 이미지-3D 훈련 쌍이 전혀 필요 없이 Human3.6M(최소 MPJPE 51.4 mm)과 3DPW(PA-MPJPE 40.3 mm)에서 최신 기술 수준 성능을 달성한다.

ABSTRACT

Learning-based methods have dominated the 3D human pose estimation (HPE) tasks with significantly better performance in most benchmarks than traditional optimization-based methods. Nonetheless, 3D HPE in the wild is still the biggest challenge for learning-based models, whether with 2D-3D lifting, image-to-3D, or diffusion-based methods, since the trained networks implicitly learn camera intrinsic parameters and domain-based 3D human pose distributions and estimate poses by statistical average. On the other hand, the optimization-based methods estimate results case-by-case, which can predict more diverse and sophisticated human poses in the wild. By combining the advantages of optimization-based and learning-based methods, we propose the extbf{Ze}ro-shot extbf{D}iffusion-based extbf{O}ptimization ( extbf{ZeDO}) pipeline for 3D HPE to solve the problem of cross-domain and in-the-wild 3D HPE. Our multi-hypothesis extit{ extbf{ZeDO}} achieves state-of-the-art (SOTA) performance on Human3.6M, with minMPJPE $51.4$mm, without training with any 2D-3D or image-3D pairs. Moreover, our single-hypothesis extit{ extbf{ZeDO}} achieves SOTA performance on 3DPW dataset with PA-MPJPE $40.3$mm on cross-dataset evaluation, which even outperforms learning-based methods trained on 3DPW.

연구 동기 및 목표

• 도메인 특화 분포와 카메라 파rameter 편향으로 인해 교차 도메인 및 실외 환경에서 학습 기반 3D HPE 방법의 성능이 저하되는 문제를 해결하기 위해.
• 기존 최적화 기반 및 학습 기반 방법 간의 성능 격차를 해소하기 위해 사전 훈련된 확산 모델을 반복 최적화 파이프라인에 통합함으로써.
• 2D-3D 또는 이미지-3D 훈련 쌍이 전혀 필요 없이 제로샷 3D HPE를 가능하게 하여 다양한 데이터셋 간 강력한 일반화 성능을 달성하기 위해.
• 카메라 내재 매개변수를 분리하고 추론 시 확산 기반 자세 사전 지식을 활용하여 다양한 자세와 카메라 설정에 대한 강건성을 향상시키기 위해.

제안 방법

• 사전 훈련된 확산 기반 3D 인간 자세 생성 모델을 반복 최적화 루프 내에서 노이즈 제거 정규화 요소로 통합한다.
• 2D 키포인트 재투영 오차를 최소화하기 위해 3D 자세 파라미터와 변환을 조정하는 단순한 3D HPE 최적화 파이프라인을 사용한다.
• 반복적 정밀 조정을 적용: 최적화기가 3D 자세를 업데이트하고, 확산 모델이 이를 노이즈 제거하여 현실적인 인간 신체 제약 조건을 강제한다.
• 초기 3D 자세를 2D 키포인트와 정렬하기 위해 초기 자세 최적화기를 사용하여 초기화 품질을 향상시킨다.
• 초기화를 위해 훈련 자세에 대해 K-평균 클러스터링을 적용하여 대표적인 앵커 자세를 선별하며, 랜덤 샘플링이나 생성 방식보다 우수한 성능을 달성한다.
• 사전 훈련 단계에서 회전 및 플립 데이터 증강을 적용하여 다양한 데이터셋 간 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 사전 훈련된 확산 모델을 미세조정 없이도 최적화 루프 내에서 기능성 정규화 요소로 효과적으로 재사용할 수 있는가?
• RQ2 반복적 최적화와 확산 기반 노이즈 제거를 결합함으로써 제로샷 3D HPE 성능이 미리 정의되지 않은 도메인에서 어떻게 향상되는가?
• RQ3 초기 자세 초기화 및 데이터 증강의 영향은 최적화 파이프라인의 강건성과 정확성에 어떤 영향을 미치는가?
• RQ4 확산 사전 지식을 갖춘 최적화 기반 방법이 교차 데이터셋 평가에서 엔드 투 엔드 학습 기반 모델을 얼마나 뛰어넘을 수 있는가?
• RQ5 추론 품질과 속도에 영향을 미치는 주요 하이퍼파라미터(예: 반복 횟수, 샘플링 전략)는 무엇인가?

주요 결과

• ZeDO는 2D-3D 또는 이미지-3D 훈련 쌍이 전혀 필요 없이 Human3.6M 데이터셋에서 최신 기술 수준의 제로샷 성능을 달성하며, 최소 MPJPE는 51.4 mm이다.
• 3DPW 데이터셋에서 ZeDO는 교차 데이터셋 평가에서 PA-MPJPE 40.3 mm를 기록했으며, 3DPW에서 훈련된 학습 기반 모델을 모두 초월한다.
• 초기 자세 최적화기는 Human3.6M에서 MPJPE를 9.3 mm(S=1) 감소시키고, minMPJPE를 2.0 mm(S=50) 감소시켜 3DHP와 같이 더 복잡한 데이터셋에서 더 큰 성과를 내었다.
• 확산 모델 사전 훈련 단계에서 데이터 증강을 적용함으로써 교차 도메인 성능이 MPJPE 기준 13.9 mm 향상되었으며, 이는 일반화에 있어 핵심적인 역할을 한다는 것을 입증한다.
• Human3.6M + 3DHP 혼합 데이터셋을 사용해 확산 모델을 사전 훈련하면, Human3.6M에서 1.3 mm, 3DHP에서 2.8 mm 성능 향상이 이루어졌다.
• 최적의 최적화 반복 횟수는 약 1000회이며, 이 이상이 되면 성능이 정체되고 추가 반복은 추론 속도만 저하할 뿐 성능 향상에 기여하지 않는다.