[논문 리뷰] DECO: Dense Estimation of 3D Human-Scene Contact In The Wild

Shashank Tripathi, Agniv Chatterjee외 4명|UvA-DARE (University of Amsterdam)|2023. 09. 26.

Human Pose and Action RecognitionComputer Science인용 수 3

한 줄 요약

DECO는 제약 없는 실외 이미지에서 인간 신체와 물체, 환경 간의 고밀도, 정점 수준의 3차원 접촉을 추정하는 새로운 방법을 제안한다. 이는 인간이 레이블을 붙인 3차원 접촉 레이블을 포함하는 새로운 데이터셋 DAMON과, 신체 부위 기반 및 환경 맥락 기반 추론을 융합한 이중 주의망을 활용하여 RICH, BEHAVE, DAMON 벤치마크에서 최신 기술 수준을 초월하는 성능을 달성한다.

ABSTRACT

Understanding how humans use physical contact to interact with the world is key to enabling human-centric artificial intelligence. While inferring 3D contact is crucial for modeling realistic and physically-plausible human-object interactions, existing methods either focus on 2D, consider body joints rather than the surface, use coarse 3D body regions, or do not generalize to in-the-wild images. In contrast, we focus on inferring dense, 3D contact between the full body surface and objects in arbitrary images. To achieve this, we first collect DAMON, a new dataset containing dense vertex-level contact annotations paired with RGB images containing complex human-object and human-scene contact. Second, we train DECO, a novel 3D contact detector that uses both body-part-driven and scene-context-driven attention to estimate vertex-level contact on the SMPL body. DECO builds on the insight that human observers recognize contact by reasoning about the contacting body parts, their proximity to scene objects, and the surrounding scene context. We perform extensive evaluations of our detector on DAMON as well as on the RICH and BEHAVE datasets. We significantly outperform existing SOTA methods across all benchmarks. We also show qualitatively that DECO generalizes well to diverse and challenging real-world human interactions in natural images. The code, data, and models are available at https://deco.is.tue.mpg.de.

연구 동기 및 목표

• 제약 없는 실외 이미지에서 전체 인간 신체 표면과 환경 물체 간의 정확하고 고밀도 3차원 접촉 추정을 가능하게 하기.
• 실세계 이미지에서 고품질의 고밀도 3차원 접촉 레이블이 부족하여 강력한 3차원 접촉 검출기 학습이 제한되는 문제를 해결하기.
• 접촉 추론을 위해 신체 부위 식별과 주변 환경 맥락을 모두 고려하는 방법을 개발하여, 2차원 또는 굵은 3차원 표현을 넘어서 일반화 능력을 향상시키기.
• 다양한 인간-물체 및 인간-환경 상호작용에 대해 SMPL 신체 메esh에 인간이 레이블을 붙인 정점 수준의 3차원 접촉 레이블을 포함하는 새로운 벤치마크 데이터셋 DAMON을 구축하기.
• 실외 및 스캔된 데이터셋을 포함한 여러 벤치마크에서 기존 최신 기술 수준의 방법들을 능가하는 3차원 접촉 추정 성능을 달성하기.

제안 방법

• 단일 RGB 이미지를 입력으로 받아 SMPL 신체 메쉬의 정점 수준에서 고밀도 접촉 레이블을 출력하는 3차원 접촉 검출기인 DECO를 제안한다.
• 이중 주의망을 활용: 신체 부위 기반 주의망은 관련된 신체 영역에 집중하고, 환경 맥락 기반 주의망은 물체와의 거리 및 공간적 관계를 분석한다.
• 접촉 분류, 부위 인식 손실, 환경 인식 감독을 포함하는 다중 작업 손실을 사용하여 모델을 엔드 투 엔드로 학습하며, 경험적으로 조정된 손실 가중치를 적용한다.
• 입력 이미지, 환경 분할 마스크, 부위 분할 마스크를 처리하기 위해 2D 특징 추출기(ResNet 기반)를 사용하고, 이후 특징 융합 및 3차원 회귀를 수행한다.
• 2D 환경 및 부위 맥락 특징을 사용해 예측을 개선하는 컨텍스트 브랜치(L²_s 및 L²_p)를 도입하여 지오데식 오차를 약 24% 향상시켰다.
• 새로운 상호작용 가능한 3차원 레이블 도구를 활용해 DAMON 데이터셋을 수집하여 전체 신체 메쉬에 정밀한 인간 레이블 기반 3차원 접촉 레이블을 확보했다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 제약 없는 실세계 이미지에서 전체 인간 신체와 환경 물체 간의 고밀도 3차원 접촉을 정확하게 예측할 수 있는가?
• RQ2 신체 부위 식별과 환경 맥락을 모두 통합할 경우, 단일 모odal에 의존하는 방법보다 접촉 추정 성능이 어떻게 향상되는가?
• RQ3 인간이 레이블을 붙인 3차원 접촉 데이터셋(DAMON)이 합성 또는 SDF 기반 가짜 진실 레이블에 비해 일반화 능력과 정확도를 얼마나 향상시키는가?
• RQ4 제안된 이중 주의망이 다양한 상호작용에서 복잡한 전체 신체 접촉 패턴을 포착하는 데 기존 아키텍처를 능가하는가?
• RQ5 DECO는 훈련 중에 볼 수 없었던 분포 외의 인터넷 기반 이미지에 대해 어떻게 일반화되는가?

주요 결과

• DECO는 RICH 테스트 세트에서 평균 IoU 0.510, DAMON 데이터셋에서 0.450 mIoU를 기록하여 기존 최신 기술 수준의 방법들을 크게 능가했다.
• RICH 데이터셋에서 컨텍스트 브랜치를 통합함으로써 기본 모델 대비 지오데식 오차가 24% 향상되었다.
• DAMON 데이터셋은 약 0.656의 Fleiss’ Kappa를 기록하여 레이블러 간의 상당한 일致를 보였고, 레이블 정확도 mIoU는 0.450이었으며, 인간 레이블이 SDF 기반 가짜 진실 레이블보다 실제 접촉에 더 정밀하게 반영됨을 확인했다.
• 인터넷 이미지에 대한 정성적 결과는 DECO가 훈련 분포 외의 다양한 어려운 실세계 상호작용에 잘 일반화됨을 보여주었다.
• 컨텍스트 브랜치를 포함한 모델는 복잡도를 1%만 증가시켰지만 성능 향상이 뚜렷하여 환경 및 부위 맥락 정보가 접촉 추론에 있어 가치 있음을 입증했다.
• RICH 및 BEHAVE 데이터셋을 포함한 모든 벤치마크에서 DECO는 BSTRO 및 POSA^PIXIE와 같은 기초 모델들을 능가했다.