[논문 리뷰] Putting Humans in a Scene: Learning Affordance in 3D Indoor Environments

Xueting Li, Sifei Liu외 4명|arXiv (Cornell University)|2019. 03. 13.

Human Pose and Action Recognition참고 문헌 31인용 수 4

한 줄 요약

이 논문은 실내 환경에서 3D 인간 약용 예측을 위한 이단계 프레임워크를 제안한다. 이는 TV 시리즈에서 유래한 2D 자세 분포와 복셀화된 환경에서의 3D 기하 구조 제약을 융합하는 완전 자동 3D 자세 합성기와, 단일 RGB/RGB-D 이미지에서 의미적으로 타당하고 물리적으로 타당한 3D 인간 자세를 예측하는 생성 모델을 조합한다. 이 방법은 기존 연구 대비 기하 점수에서 27.6% 향상된 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Affordance modeling plays an important role in visual understanding. In this paper, we aim to predict affordances of 3D indoor scenes, specifically what human poses are afforded by a given indoor environment, such as sitting on a chair or standing on the floor. In order to predict valid affordances and learn possible 3D human poses in indoor scenes, we need to understand the semantic and geometric structure of a scene as well as its potential interactions with a human. To learn such a model, a large-scale dataset of 3D indoor affordances is required. In this work, we build a fully automatic 3D pose synthesizer that fuses semantic knowledge from a large number of 2D poses extracted from TV shows as well as 3D geometric knowledge from voxel representations of indoor scenes. With the data created by the synthesizer, we introduce a 3D pose generative model to predict semantically plausible and physically feasible human poses within a given scene (provided as a single RGB, RGB-D, or depth image). We demonstrate that our human affordance prediction method consistently outperforms existing state-of-the-art methods.

연구 동기 및 목표

• 약용 학습을 위한 실내 환경에서의 대규모, 물리적으로 타당한 3D 인간 자세 애너테이션의 부족 문제를 해결하기 위해.
• 2D 기반 방법이 인간-환경 상호작용에서 3D 기하 타당성을 강제하지 못하는 한계를 극복하기 위해.
• 2D 자세에서의 의미 지식과 3D 복셀화된 환경에서의 기하 제약을 활용하는 완전 자동 3D 자세 합성기를 개발하기 위해.
• 단일 환경 이미지에 조건부로 의미적으로 타당하고 현실적인 3D 자세 위치와 외관을 동시에 예측하는 엔드 투 엔드 생성 모델을 훈련하기 위해.
• 합성된 물리적으로 타당한 인간 자세를 사용하여 SUNCG 데이터셋에서 3D 약용 예측에 대한 새로운 벤치마크를 수립하기 위해.

제안 방법

• SUNCG의 복셀화된 환경에 카메라 파라미터와 3D 기하 구조를 활용해 Sitcom 데이터셋의 2D 인간 자세를 전이함으로써 완전 자동 3D 자세 합성기를 개발한다.
• 충돌 검출 및 지지 확인을 통해 합성된 3D 자세를 정밀하게 보정하여 물리적 타당성을 확보하고, 교차 및 부적절한 신체 지지 구조를 제거한다.
• 두 개의 스트림을 갖춘 생성 모델을 제안하며, '어디에' 모듈은 골반 관절 위치를 예측하고, '무엇을' 모듈은 위치에 조건부로 전체 3D 자세 외관을 생성한다.
• 입력이 단일 RGB 이미지일 경우에도 3D 물리적 일관성을 강제하기 위해 가분성 있는 기하 구조 인식 판별기를 사용한다.
• 자세 분포를 위치와 외관 구성 요소로 분해하며, 골반 위치가 두 모듈 간의 가분성 브리지 역할을 한다.
• 실제성과 물리적 타당성을 향상시키기 위해 인지적, 기하, 적대적 손실의 조합을 사용해 엔드 투 엔드로 프레임워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 2D 자세 분포와 3D 환경 기하 구조를 융합함으로써 완전 자동 3D 자세 합성기가 대규모로 물리적으로 타당한 인간 자세를 생성할 수 있는가?
• RQ2 생성 모델은 단일 RGB 또는 RGB-D 이미지에서 의미적으로 타당하고 기하적으로 타당한 3D 인간 자세를 어떻게 예측할 수 있는가?
• RQ3 2D 기반 기준 대비 3D 기하 추론을 통합할 경우 예측된 인간 자세의 물리적 타당성은 어느 정도 향상되는가?
• RQ4 모델은 단일 2D 이미지에서 깊이와 3D 구조를 환상적으로 끌어내어 다양한 깊이에서 맥락에 적합한 자세를 생성할 수 있는가?
• RQ5 기하 구조 인식 지도가 생성된 3D 인간 자세의 실제성과 정확성에 어떤 영향을 미치는가?

주요 결과

• RGB-D 입력을 사용할 경우 '무엇을' 모듈에서 78.43%의 기하 점수를 기록하여 기준 방법의 56.29%보다 27.6% 향상되었다.
• RGB 입력만으로도 기준 방법보다 6.66% 높은 기하 점수를 기록하여 2D 이미지에서의 강력한 3D 기하 환상 능력을 입증했다.
• 깊이를 d-0.5에서 d+0.5로 보간할 때 스케일과 동작(예: 서서 앉는 것)이 다양해지는 자세를 성공적으로 생성하여 깊이 인식 자세 생성 능력을 보였다.
• 사용자 연구와 훈련된 진위성 분류기 결과, 기존 방법보다 생성된 자세가 더 현실적이고 물리적으로 타당하다고 확인되었다.
• 실패 사례 분석 결과 오류의 주요 원인은 의미적 불일치(예: 캐비닛 위에 앉는 것) 또는 기하 위반(예: 충돌)으로, 2D 입력에서의 3D 추론 과제가 명백히 드러났다.
• 기하 구조 인식 판별기는 물리적 타당성을 크게 향상시켜 RGB 입력을 사용할 경우 기하 점수 하락을 4.59% 감소시켰다.