[논문 리뷰] Holistic++ Scene Understanding: Single-view 3D Holistic Scene Parsing and Human Pose Estimation with Human-Object Interaction and Physical Commonsense

Yixin Chen, Siyuan Huang외 4명|arXiv (Cornell University)|2019. 09. 04.

Human Pose and Action Recognition참고 문헌 58인용 수 17

한 줄 요약

이 논문은 인간-물체 상호작용(HOI)과 물리적 공통지식 추론을 공동으로 활용하여 단일 뷰 3D 통합 장면 해석과 인간 자세 추정을 위한 통합 프레임워크인 Holistic++를 제안한다. 구조적 파싱 그래프에서 마르코프 체인 몬테카를로(MCMC) 추론을 사용함으로써 공간적 타당성과 상호작용 제약 조건을 강제하여, PiGraphs, Watch-n-Patch, SUN RGB-D에서 2D 및 3D 메트릭 모두에서 베이스라인을 능가하는 3D 재구성 정확도와 일반화 능력을 향상시킨다.

ABSTRACT

We propose a new 3D holistic++ scene understanding problem, which jointly tackles two tasks from a single-view image: (i) holistic scene parsing and reconstruction---3D estimations of object bounding boxes, camera pose, and room layout, and (ii) 3D human pose estimation. The intuition behind is to leverage the coupled nature of these two tasks to improve the granularity and performance of scene understanding. We propose to exploit two critical and essential connections between these two tasks: (i) human-object interaction (HOI) to model the fine-grained relations between agents and objects in the scene, and (ii) physical commonsense to model the physical plausibility of the reconstructed scene. The optimal configuration of the 3D scene, represented by a parse graph, is inferred using Markov chain Monte Carlo (MCMC), which efficiently traverses through the non-differentiable joint solution space. Experimental results demonstrate that the proposed algorithm significantly improves the performance of the two tasks on three datasets, showing an improved generalization ability.

연구 동기 및 목표

• 단일 RGB 이미지에서 3D 장면과 인간 자세를 동시에 재구성하는 과제를 해결하기 위해 두 작업 간 상호의존성을 활용한다.
• 장면 내 에이전트와 물체 간 공간 관계를 정교화하기 위해 인간-물체 상호작용(HOI)을 기하학적 제약 조건으로 통합함으로써 3D 장면 이해를 향상시킨다.
• 지지 및 물체의 지속성과 같은 물리적 공통지식을 모델링하여 3D 재구성의 물리적 타당성과 안정성을 향상시킨다.
• HOI와 물리적 공통지식을 일반 사전 지식으로 통합함으로써 다양한 데이터셋 간 일반화 능력을 향상시킨다.
• 비차별 가능하고 공동 추론 가능한 프레임워크를 개발하여, 구조적 파싱 그래프에서 MCMC를 사용해 복잡한 해 공간을 효율적으로 탐색한다.

제안 방법

• 3D 장면 구성은 계층적 파싱 트리와 종단 노드 위의 마르코프 무작위필드(MRF)를 포함한 파싱 그래프로 표현되며, 맥락적 관계를 모델링한다.
• 공동 추론은 최대 사후확률(MAP) 추정을 통해 수행되며, 2D 검출 결과와 투영된 3D 예측 결과의 우도와 HOI 및 물리적 공통지식에 대한 사전 확률을 조합한다.
• 인간-물체 상호작용(HOI)은 에너지 함수 내의 사전 항으로 모델링되어 인간과 물체 간 타당한 공간 구성(예: 앉기, 들기)을 제약한다.
• 물리적 공통지식은 물리적으로 타당하지 않은 구성(예: 물체가 떠다니거나 표면에 침투하는 경우)을 처벌하는 페널티 항을 통해 강제된다.
• 비차별 가능한 해 공간을 탐색하기 위해 마르코프 체인 몬테카를로(MCMC) 샘플러가 파싱 그래프를 최적화하여 3D 자세, 물체 박스, 카메라 자세, 실내 레이아웃의 공동 정밀 조정을 가능하게 한다.
• HOI를 기반으로 하는 상향식 샘플링 프로세스를 사용하여 복잡하거나 가림이 있는 장면에서 물체 검출과 자세 추정을 향상시킨다.

실험 결과

연구 질문

• RQ1 3D 장면 해석과 인간 자세 추정의 공동 추론이 고립된 작업 최적화를 넘어서 성능 향상에 기여할 수 있는가?
• RQ2 인간-물체 상호작용(HOI) 추론은 단일 뷰 3D 재구성에서 기하학적 모호성을 줄이고 공간 정확도를 향상시키는 데 얼마나 효과적인가?
• RQ3 물리적 공통지식을 통합할 경우 3D 장면 재구성의 타당성과 안정성은 어느 정도 향상되는가?
• RQ4 HOI와 물리적 공통지식는 다양한 현실 복잡도를 가진 다양한 데이터셋 간 모델의 일반화 능력을 향상시키는 일반 사전 지식로 기능할 수 있는가?
• RQ5 MCMC 기반 추론 프레임워크는 통합 3D 장면 이해의 비차별 가능하고 고차원 해 공간을 어떻게 다루는가?

주요 결과

• 제안된 방법은 3D 인간 자세 추정에서 최신 기술 성능을 달성하여, PiGraphs에서 0.732m(峤)에서 0.472m로 3D 오차를 감소시키고, Watch-n-Patch에서 0.646m(峤)에서 0.330m로 감소시켰다.
• 합성된 SUN RGB-D 데이터셋에서, 이 방법은 기준값(0.435m)에서 0.517m로 3D 자세 오차를 감소시켰으며, 이는 정확도가 높은 2D 자세 예측을 사용함에도 불구하고 강건성을 입증한다.
• 제거 분석 결과, HOI를 제거하면 3D 오브제 IoU가 0.9% 감소(27.8%로)하고 3D 자세 오차가 0.069m 증가(0.521m로)함을 확인하여, HOI가 공간 추론에서 핵심적인 역할을 함을 시사한다.
• 전체 모델은 물리적 위반(물체와 지지 표면 간 거리)을 0.223m(비물리적 제약 없음)에서 0.150m로 감소시켜 물리적 타당성 향상을 확인했다.
• HOI 상호작용(예: 앉기)의 누락 검출률은 13.1%로, HOI를 제외한 경우 15.2%보다 유의미하게 낮아, 상향식 추론을 통한 검출 향상이 입증되었다.
• 정성적 결과는 PiGraphs, Watch-n-Patch, SUN RGB-D 간 일관된 일반화를 보이며, 개선된 초기화와 물리적으로 타당한 3D 레이아웃을 제공한다.