[논문 리뷰] Probabilistic Human Mesh Recovery in 3D Scenes from Egocentric Views

Siwei Zhang, Qianli Ma외 4명|arXiv (Cornell University)|2023. 01. 01.

Human Pose and Action Recognition인용 수 1

한 줄 요약

이 논문은 3D 시점 기하학과 관절 가시성 정보를 활용하여 심한 신체 부분 절단이 발생하는 이곡적 이미지에서 3D 인간 메시를 복원하는 시점 조건형 확산 모델인 EgoHMR을 제안한다. 분류기 없는 가이던스와 충돌 점수 가이드 샘플링을 통해 다양한 물리적으로 타당한 인간-장면 상호작용을 생성하면서도, 가시 관절의 정확도를 유지한다. 이는 포즈 정확도, 다양성, 상호작용 타당성 측면에서 기존 방법들을 능가한다.

ABSTRACT

Automatic perception of human behaviors during social interactions is crucial for AR/VR applications, and an essential component is estimation of plausible 3D human pose and shape of our social partners from the egocentric view. One of the biggest challenges of this task is severe body truncation due to close social distances in egocentric scenarios, which brings large pose ambiguities for unseen body parts. To tackle this challenge, we propose a novel scene-conditioned diffusion method to model the body pose distribution. Conditioned on the 3D scene geometry, the diffusion model generates bodies in plausible human-scene interactions, with the sampling guided by a physics-based collision score to further resolve human-scene inter-penetrations. The classifier-free training enables flexible sampling with different conditions and enhanced diversity. A visibility-aware graph convolution model guided by per-joint visibility serves as the diffusion denoiser to incorporate inter-joint dependencies and per-body-part control. Extensive evaluations show that our method generates bodies in plausible interactions with 3D scenes, achieving both superior accuracy for visible joints and diversity for invisible body parts. The code is available at https://sanweiliti.github.io/egohmr/egohmr.html.

연구 동기 및 목표

• 근접한 사회적 상호작용으로 인해 심한 신체 절단이 발생하는 이곡적 이미지에서 3D 인간 메시 복원의 과제를 해결하기 위해.
• 장면 기하학과 각 관절의 가시성 정보를 활용하여 보이지 않는 신체 부위의 연속적이고 다중모드의 분포를 모델링하기 위해.
• 후처리 없이도 물리적으로 타당한 인간-장면 상호작용을 생성하고, 샘플링 중 상호침투 현상을 해결하기 위해.
• 기존 방법에서 발생하는 정확도와 다양성 간의 상충 관계를 극복하기 위해, 가시 관절의 정확도와 보이지 않는 관절의 다양성을 균형 있게 유지하기 위해.
• 분류기 없는 가이던스를 통한 탄력적인 조건부 샘플링을 통해 다양한 동시에 이미지에 일치하는 재구성 결과를 가능하게 하기 위해.

제안 방법

• 이곡적 이미지, 3D 장면 기하학, 관절 가시성 마스크를 조건으로 하는 조건부 확산 모델을 학습하여 3D 인간 메시를 생성한다.
• 확산 노이즈 제거기에서 각 관절의 자세를 그 관절의 가시성과 장면 특징에 조건화하는 가시성 인식 그래프 컬러리션 네트워크(GCN)를 사용하여 신체 부위별 제어를 가능하게 한다.
• 샘플링 중 분류기 없는 가이던스를 통해 이미지 조건이 있는지 여부에 관계없이 탄력적인 추론이 가능해지며, 보이지 않는 신체 부위의 다양성이 향상된다.
• 물리 기반 충돌 점수를 분류기 가이드 샘플링에 활용하여 인간-장면 상호침투를 방지하고 실시간으로 물리적 타당성을 향상시킨다.
• 재구성 손실, 3D 감독, 충돌 손실 Lcoll을 조합하여 학습함으로써 현실적인 장면 상호작용을 유도한다.
• 이미지에서 관절 가시성을 예측하여 확산 과정에 조건화함으로써, 보이지 않는 관절은 더 높은 불확실성과 다양성으로 모델링되도록 보장한다.

실험 결과

연구 질문

• RQ1 3D 장면 기하학과 관절 가시성에 조건화된 확산 모델이 심한 절단이 발생하는 이곡적 이미지에서 더 현실적이고 다양한 3D 인간 메시 재구성을 가능하게 할 수 있는가?
• RQ2 확산 기반 인간 메시 생성 프레임워크에서 각 신체 부위별 제어를 어떻게 달성할 수 있으며, 정확도와 다양성을 균형 있게 유지할 수 있는가?
• RQ3 샘플링 중 물리 기반 충돌 점수를 활용하면 후처리 없이도 인간-장면 상호침투 현상을 제거할 수 있는가?
• RQ4 분류기 없는 가이던스는 가시 관절의 이미지 일치성을 유지하면서도 샘플의 다양성을 향상시키는가?
• RQ5 제안된 방법은 결정론적 및 변동형 기준 모델에 비해 포즈 정확도, 다양성, 상호작용 타당성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 가시 관절의 최고 수준의 MPJPE(12.3 mm)를 달성하면서도 높은 다양성(APD-invis: 1.84)와 낮은 인간-장면 충돌 비율을 유지하여 ProHMR 및 ProHMR-scene 기준 모델을 능가한다.
• EgoHMR는 EgoBody 데이터셋에서 결정론적 기준 모델보다 전체 신체 MPJPE 정확도가 높아, 다양성이 재구성 품질을 저하시키지 않음을 입증한다.
• 충돌 점수 가이던스는 기준 샘플링 대비 인간-장면 상호침투를 42% 감소시켜 물리적 타당성을 크게 향상시켰다.
• 분류기 없는 가이던스는 가시 관절 정확도를 떨어뜨리지 않으면서도 샘플 다양성을 증가시켜(표준편차-invis: 1.92), 이미지 조건이 있는지 여부에 관계없이 탄력적인 샘플링을 가능하게 하였다.
• 기준 모델 대비 더 자연스러운 인간-장면 상호작용을 생성하였으며, 정성적 결과에서는 의자에 앉거나 바닥에 서 있는 등 타당한 자세를 보였다.
• PROX 데이터셋에서 EgoHMR는 기존 방법에 비해 포즈 정확도, 상호작용 타당성, 포즈 다양성 측면에서 뛰어난 성능을 보였으며, 제3인칭 시점 환경으로의 일반화 능력을 확인하였다.