[논문 리뷰] Perceiving 3D Human-Object Spatial Arrangements from a Single Image in the Wild

Jason Zhang, Sam Pepose외 4명|arXiv (Cornell University)|2020. 07. 30.

3D Shape Modeling and Analysis참고 문헌 65인용 수 6

한 줄 요약

이 논문은 단일 인-더-와일드 이미지에서 인간과 물체의 3D 공간 배치를 공동 추론과 데이터 기반 사전 지식을 사용하여 추론하는 PHOSA 방법을 제안한다. 척도 손실, 음영 인식 재투영 손실, 인간-물체 상호작용 손실을 도입함으로써 3D 감독 없이도 전역적으로 일관된 3D 레이아웃을 달성하며, 크거나 손에 들고 있는 물체가 많은 복잡한 시나리오에서의 모호성을 크게 감소시킨다.

ABSTRACT

We present a method that infers spatial arrangements and shapes of humans and objects in a globally consistent 3D scene, all from a single image in-the-wild captured in an uncontrolled environment. Notably, our method runs on datasets without any scene- or object-level 3D supervision. Our key insight is that considering humans and objects jointly gives rise to "3D common sense" constraints that can be used to resolve ambiguity. In particular, we introduce a scale loss that learns the distribution of object size from data; an occlusion-aware silhouette re-projection loss to optimize object pose; and a human-object interaction loss to capture the spatial layout of objects with which humans interact. We empirically validate that our constraints dramatically reduce the space of likely 3D spatial configurations. We demonstrate our approach on challenging, in-the-wild images of humans interacting with large objects (such as bicycles, motorcycles, and surfboards) and handheld objects (such as laptops, tennis rackets, and skateboards). We quantify the ability of our approach to recover human-object arrangements and outline remaining challenges in this relatively domain. The project webpage can be found at https://jasonyzhang.com/phosa.

연구 동기 및 목표

• 2D 투영의 모호성으로 인해 본질적으로 부정확한 단일 인-더-와일드 이미지에서 전역적으로 일관된 3D 인간-물체 공간 배열을 추론하는 문제를 해결하기 위해.
• 고립된 3D 추정에 의존하는 대신, 일반적인 상호작용 패턴과 물체 크기 사전 지식과 같은 공동 인간-물체 제약 조건을 활용하여 3D 재구성의 모호성을 줄이기 위해.
• 3D 애너테이션을 필요로 하지 않고 척도 분포를 학습하고 깊이 순서와 음영 일관성을 강제하는 자기지도 학습 최적화 프레임워크를 개발하기 위해.
• 2D 인스턴스 세그멘테이션과 사전 학습된 3D 인간 재구성만을 사용하여 비통제 환경에서 통합적인 3D 장면 이해의 가능성을 입증하기 위해.
• 다양한 물체 카테고리와 상호작용 유형에 일반화할 수 있는 확장 가능한 3D 물체 이해 파이프라인을 구축하기 위해.

제안 방법

• 각 인스턴스의 내재적 척도를 사용하여 국소 3D 예측을 공통 세계 좌표 프레임으로 변환함으로써 인간과 물체 간의 척도 일관성을 보장한다.
• 데이터에서 물체 크기 분포를 학습하는 척도 손실을 도입하여, 감독 없이도 데이터 기반 사전 지식을 제공하는 물체 척도에 대한 사전 지식을 확보한다.
• 음영 인식 재투영 손실은 3D 물체 자세가 가시 이미지 음영과 일관되게 유지되도록 보장하여 기하학적 정확도를 향상시킨다.
• 인간-물체 상호작용 손실은 손이 핸들에 올려져 있는 것과 같은 공간적 관계를 인코딩하여 인간 몸체에 대한 물체 배치를 안내한다.
• 전역 최적화 프레임워크는 이러한 손실들과 깊이 순서 및 충돌 회피를 결합하여 일관된 3D 장면 레이아웃을 생성한다.
• 이 프레임워크는 기울기 기반 최적화를 사용하여 가시화 가능한 렌더러를 통해 2D 인스턴스 세그멘테이션 마스크와 2D 키포인트 예측만을 사용하여 3D 자세와 형태를 정밀하게 보정한다.

실험 결과

연구 질문

• RQ1 비통제 환경에서 단일 이미지에서의 3D 재구성에 있어 인간과 물체에 대한 공동 추론이 모호성을 줄이는 데 얼마나 효과적인가?
• RQ2 물체 크기와 인간-물체 상호작용에 대한 데이터 기반 사전 지식이 3D 감독 없이도 3D 레이아웃의 일관성에 얼마나 기여하는가?
• RQ3 음영 인식 및 상호작용 인식 손실이 복잡한 시나리오에서 3D 물체 자세 추정을 얼마나 효과적으로 안내하는가?
• RQ4 자기지도 학습 기반 최적화 접근법이 다양한 물체 카테고리와 상호작용 유형에 걸쳐 신뢰할 수 있는 3D 인간-물체 배열을 달성할 수 있는가?
• RQ5 각 손실 항목(척도, 음영, 상호작용, 깊이, 충돌)이 최종 3D 레이아웃 품질에 기여하는 상대적 기여도는 얼마인가?

주요 결과

• 제안된 방법은 테스트 케이스의 68%에서 인간과 물체의 독립적 3D 재구성보다 우수했으며, 50%는 동등한 성능을 보였으며, 이는 통계적으로 유의미한 향상임을 시사한다.
• 음영 인식 재투영 손실과 상호작용 손실을 생략했을 때 성능 저하가 가장 심했으며, 이는 기하학적 및 공간적 타당성 확보에 이들이 핵심적인 역할을 한다는 것을 강조한다.
• 척도 손실은 대부분의 물체 카테고리에서 성능 향상을 이끌었으며, 특히 경험적 평균에서 벗어난 초기화 상태에서 두드러진 효과를 보여, 척도 모호성 해결에 있어 그 가치를 입증한다.
• 깊이 순서 손실은 중간 정도의 성능 향상을 제공했고, 충돌 손실은 표면 삼각형 최적화에서 局부 최소값으로 인해 약한 영향을 미쳤다.
• 이 방법은 서핑보드나 오토바이와 같은 큰 물체와 노트북, 테니스 라켓과 같은 손에 든 물체를 포함한 다양한 상호작용을 성공적으로 재구성하여 광범위한 적용 가능성을 입증했다.
• 정성적 결과에서는 공동 추론이 독립적 추정이 해결하지 못하는 근본적인 모호성(예: 떠 있는 물체, 잘못된 자세)을 해결하는 데 효과적임을 보여준다.