[논문 리뷰] Human-Aware Object Placement for Visual Environment Reconstruction

Hongwei Yi, Chun-Hao P. Huang외 6명|arXiv (Cornell University)|2022. 03. 07.

Human Pose and Action Recognition인용 수 5

한 줄 요약

MOVER는 단일 RGB 영상에서 인간-장면 상호작용(HSI)을 활용하여 물리적으로 타당한 3D 장면 레이아웃을 복원하고 3D 인간 자세 및 형태(HPS)를 개선하는 혁신적인 최적화 프레임워크를 제안한다. 여러 프레임에 걸쳐 깊이 순서, 충돌 방지 운동, 접촉 제약 조건을 통합 최적화함으로써, 사전 3D 장면 스캔이 필요 없이도 최신 기술 수준의 3D 장면 복원 성능을 달성하고 HPS 추정 성능을 향상시킨다.

ABSTRACT

Humans are in constant contact with the world as they move through it and interact with it. This contact is a vital source of information for understanding 3D humans, 3D scenes, and the interactions between them. In fact, we demonstrate that these human-scene interactions (HSIs) can be leveraged to improve the 3D reconstruction of a scene from a monocular RGB video. Our key idea is that, as a person moves through a scene and interacts with it, we accumulate HSIs across multiple input images, and optimize the 3D scene to reconstruct a consistent, physically plausible and functional 3D scene layout. Our optimization-based approach exploits three types of HSI constraints: (1) humans that move in a scene are occluded or occlude objects, thus, defining the depth ordering of the objects, (2) humans move through free space and do not interpenetrate objects, (3) when humans and objects are in contact, the contact surfaces occupy the same place in space. Using these constraints in an optimization formulation across all observations, we significantly improve the 3D scene layout reconstruction. Furthermore, we show that our scene reconstruction can be used to refine the initial 3D human pose and shape (HPS) estimation. We evaluate the 3D scene layout reconstruction and HPS estimation qualitatively and quantitatively using the PROX and PiGraphs datasets. The code and data are available for research purposes at https://mover.is.tue.mpg.de/.

연구 동기 및 목표

• 단일 영상 기반 3D 장면 복원 방법이 인간 상호작용을 忽시함으로써 물리적으로 타당하지 않은 장면을 생성하는 한계를 해결하기 위해.
• 장면 일관성에서 유도된 인간-장면 상호작용을 활용하여 3D 인간 자세 및 형태(HPS) 추정을 향상시키기 위해.
• 환경의 사전 3D 스캔이 필요 없이 단일 정적 카메라에서 일관된 3D 장면 레이아웃을 복원하는 방법을 개발하기 위해.
• 음영, 비침투성, 표면 접촉과 같은 암묵적 및 명시적 인간-장면 상호작용 신호를 활용하여 기하학적 일관성을 향상시키기 위해.
• 다중 프레임에 걸친 누적된 HSI 제약 조건이 장면 레이아웃과 인간 신체 파rameter를 동시에 최적화하여 더 높은 현실성 확보 가능성을 입증하기 위해.

제안 방법

• MOVER는 인간-장면 상호작용(HSI) 제약 조건을 사용하여 카메라 자세, 지면 평면, 3D 물체 위치를 동시에 보정하는 글로벌 최적화 프레임워크를 사용한다.
• 세 가지 유형의 HSI 제약 조건을 통합한다: 음영에서 유도된 깊이 순서, 인간이 물체에 침투하지 않는 제약, 접촉 표면의 공간적 일치 조건.
• 입력으로 단일 영상에서 추정된 3D 인간 메ッシュ와 3D 물체 형태를 처리하여 다중 프레임에 걸쳐 상호작용 신호를 누적한다.
• SDF 기반 접촉, 충돌 방지, 깊이 순서 제약 조건을 조합한 미분 가능 손실 함수를 사용하여 최적화를 수행한다.
• 접촉 및 SDF 손실을 통한 반복 최적화를 통해 장면 레이아웃과 초기 HPS 추정치를 동시에 개선할 수 있다.
• 사전 3D 장면 스캔이 필요 없으며, RGB 영상만으로도 복원이 가능하다.

(a)

실험 결과

연구 질문

• RQ1 단일 영상 기반 RGB 영상 시퀀스에서 인간-장면 상호작용을 활용하여 3D 장면 레이아웃 복원 성능을 향상시킬 수 있는가?
• RQ2 음영, 비침투성, 접촉 제약 조건을 다중 프레임에 걸쳐 동시에 최적화하여 물리적으로 타당한 3D 장면을 생성할 수 있는가?
• RQ3 복원된 3D 장면이 3D 인간 자세 및 형태 추정 정확도에 어느 정도 기여하는가?
• RQ4 환경의 사전 3D 스캔이 없이도 일관된 3D 장면 복원이 가능한가?
• RQ5 다중 프레임에 걸쳐 누적된 HSI 신호가 단일 프레임 또는 분리된 복원에 비해 기하학적 일관성을 얼마나 향상시키는가?

주요 결과

• 카메라 및 지면 평면 제약 조건을 추가함으로써 평균 관절 오차(PJE)는 43.21, 평균 정점 간격 거리(V2V)는 42.41 감소하여 기준 HPS 추정 성능이 크게 향상된다.
• 모든 HSI 제약 조건을 포함한 전체 모델은 PROX 데이터셋에서 PJE 174.37, V2V 178.31을 기록하며, HolisticMesh를 초월하고 3D 장면 스캔이 필요 없는 조건에서 PROX 성능에 근접한다.
• 접촉 제약 조건만 적용할 경우 높은 인간-장면 접촉 점수를 기록하지만, 비충돌 점수는 감소하여 접촉 정확도와 충돌 방지 간의 상충 관계를 보여준다.
• 깊이 순서 제약 조건만 적용할 경우 전체 모델보다 약간 더 나은 장면 복원 성능를 보이지만, 접촉 점수는 열 劣하므로 접촉 및 충돌 제약 조건이 상호 보완적 역할을 한다는 점을 시사한다.
• SDF 및 접촉 손실의 통합은 HPS 추정 성능을 추가로 향상시키며, 장면 일관성이 인간 신체 복원 품질을 향상시킨다는 점을 입증한다.
• PROX 및 PiGraphs에서의 정성적 결과는 MOVER가 Total3D 및 HolisticMesh보다 더 일관되고 물리적으로 타당한 3D 장면과 인간 자세를 생성함을 보여준다.

(b)