[논문 리뷰] Human-centric Indoor Scene Synthesis Using Stochastic Grammar

Siyuan Qi, Yixin Zhu외 3명|arXiv (Cornell University)|2018. 08. 25.

Advanced Vision and Imaging참고 문헌 48인용 수 12

한 줄 요약

이 논문은 인간 중심의 3D 실내 환경 합성 방법을 제안하며, 확률적 문법 모델—특성 부여된 공간적 And-Or 그래프(S-AOG)—를 사용하여 물체, 기능성, 인간 활동을 종합적으로 모델링한다. 맥락적 관계를 위해 마르코프 무작위 필드(MRF)를 통합하고 몬테카를로 마르코프 체인(MCMC) 샘플링을 적용하여, 완벽한 픽셀 단위 지도 데이터를 갖춘 다양한 실재감 있는 레이아웃을 생성한다. 이는 시각적 현실감, 기능성 정확도, 인간 평가 기반의 기능성 및 자연스러움에서 최신 기술을 능가한다.

ABSTRACT

We present a human-centric method to sample and synthesize 3D room layouts and 2D images thereof, to obtain large-scale 2D/3D image data with perfect per-pixel ground truth. An attributed spatial And-Or graph (S-AOG) is proposed to represent indoor scenes. The S-AOG is a probabilistic grammar model, in which the terminal nodes are object entities. Human contexts as contextual relations are encoded by Markov Random Fields (MRF) on the terminal nodes. We learn the distributions from an indoor scene dataset and sample new layouts using Monte Carlo Markov Chain. Experiments demonstrate that our method can robustly sample a large variety of realistic room layouts based on three criteria: (i) visual realism comparing to a state-of-the-art room arrangement method, (ii) accuracy of the affordance maps with respect to groundtruth, and (ii) the functionality and naturalness of synthesized rooms evaluated by human subjects. The code is available at https://github.com/SiyuanQi/human-centric-scene-synthesis.

연구 동기 및 목표

• 2D/3D 환경 데이터셋에서 수동 데이터 수집의 한계와 노이즈가 많은 센서 기반 레이블링 문제를 해결하기 위해.
• AI 모델 훈련을 위한 완벽한 픽셀 단위 애너테이션을 갖춘 대규모 고품질 3D 실내 환경을 생성하기 위해.
• 기능적 그룹화, 지원 관계, 인간-물체 상호작용을 통합된 확률적 프레임워크에서 모델링하기 위해.
• 기능성 분포와 활동 계획에 기반해 물체와 인간 위치를 함께 샘플링할 수 있도록 하기 위해.
• 인간 중심의 공간 인식을 반영한 현실적이고 기능적으로 타당하며 자연스럽게 배열된 실내 환경을 생성하기 위해.

제안 방법

• 실내 환경을 표현하기 위해 특성 부여된 공간적 And-Or 그래프(S-AOG)를 사용하며, 종단 노드는 물체이며 내부/외부 특성으로 크기, 위치, 방향, 인간 상호작용 등이 포함된다.
• 기능적 그룹화 및 지지 관계와 같은 물체 간 맥락적 관계는 종단 노드에 대한 마르코프 무작위 필드(MRF)를 통해 인간 중심의 제약 조건을 인코딩한다.
• 장면의 결합 확률 분포는 실제 실내 환경 데이터셋에서 최대우도추정법을 사용해 학습한다.
• 학습된 S-AOG에 기반해 인간 위치와 물체 구성 요소를 번갈아가며 샘플링하는 몬테카를로 마르코프 체인(MCMC) 샘플링을 활용하여 새로운 레이아웃을 생성한다.
• 가구 간 이동 경로를 모델링함으로써 인간 활동 계획을 동적으로 지원하여 레이아웃의 자연스러움을 향상시킨다.
• 합성된 환경는 깊이, 표면 법선, 세분화 등 픽셀 단위 지도 데이터를 갖춘 2D 이미지로 렌더링된다.

실험 결과

연구 질문

• RQ1 확률적 문법 모델이 인간 중심의 실내 환경의 구조적 복잡성과 맥락적 복잡성을 효과적으로 포착할 수 있는가?
• RQ2 기존 최적화 기반 방법과 비교해 제안된 S-AOG 모델이 다양한 실재감 있는 기능적으로 타당한 실내 레이아웃을 얼마나 잘 생성하는가?
• RQ3 합성된 환경가 실제 세계 데이터와 비교해 기능성 분포를 얼마나 정확히 유지하는가?
• RQ4 인간 평가자들이 제안된 방법으로 생성된 환경의 기능성과 자연스러움을 기준으로 기준 기반 방법과 비교해 얼마나 높게 평가하는가?
• RQ5 다양한 실내 카테고리에 걸쳐 일반화 가능성이 있으며, 구조적 및 의미적 일관성을 유지하는가?

주요 결과

• 제안된 방법은 상위 시각 분류기인 ResNet-152를 사용해 상면 세분화 맵을 기반으로 합성 환경와 SUNCG 환경를 구분하는 데 76.18%의 정확도를 달성하여, 최신 기술인 Yu et al.의 최적화 방법(87.49% 정확도)보다 높은 시각적 현실감을 보였다.
• 합성 환경에서 유도된 기능성 지apap은 SUNCG와 비교해 총 변동성과헬링거 거리가 매우 낮았으며(0에 가까움), 특히 기능성 실내 공간에서 강한 분포 유사성을 보였다.
• 인간 평가자들은 제안된 방법의 평균 점수(5점 만점에 4.3점)가 기준 기반 방법보다 유의미하게 높게 평가했으며, 무작위 샘플링 및 물체 간 관계 모델링 방식을 모두 능가했다.
• 이 방법은 10개의 실내 카테고리에 걸쳐 다양한 레이아웃을 성공적으로 생성했으며, 다양한 수의 물체를 포함한 복잡한 기능적 그룹화도 가능했다.
• 1개의 장면을 샘플링하는 데 20~40분(20,000회 MCMC 반복)이 소요되었고, 640×480 해상도의 이미지를 렌더링하는 데는 표준 PC에서 12~20분이 걸려, 계산 비용은 있으나 구현 가능성을 입증했다.
• 이 프레임워크는 완벽한 픽셀 단위 지도 데이터를 갖춘 대규모 2D/3D 데이터셋 생성이 가능하며, 시각, 로봇공학, 3D 콘텐츠 제작 분야의 후속 작업을 지원한다.