[논문 리뷰] Style-compatible Object Recommendation for Multi-room Indoor Scene Synthesis

Yu He, Yun Cai외 6명|arXiv (Cornell University)|2020. 03. 09.

Remote Sensing and LiDAR Applications참고 문헌 25인용 수 4

한 줄 요약

이 논문은 Labeled LDA 모델을 사용해 카테고리 수준의 객체 추천을 하고, 조합 최적화를 통해 인스턴스 수준의 선택을 수행함으로써 공간 간 功能 다양성과 스타일 조화를 고려한 스타일 호환성 있는 다중실 실내 환경 합성 파이프라인을 제안한다. 사용자 연구에서 전문 디자이너 수준의 환경 품질을 달성하였으며, 실내 환경 합성 분야에서 주거 수준의 스타일 호환성을 처음으로 통합한 사례이다.

ABSTRACT

Traditional indoor scene synthesis methods often take a two-step approach: object selection and object arrangement. Current state-of-the-art object selection approaches are based on convolutional neural networks (CNNs) and can produce realistic scenes for a single room. However, they cannot be directly extended to synthesize style-compatible scenes for multiple rooms with different functions. To address this issue, we treat the object selection problem as combinatorial optimization based on a Labeled LDA (L-LDA) model. We first calculate occurrence probability distribution of object categories according to a topic model, and then sample objects from each category considering their function diversity along with style compatibility, while regarding not only separate rooms, but also associations among rooms. User study shows that our method outperforms the baselines by incorporating multi-function and multi-room settings with style constraints, and sometimes even produces plausible scenes comparable to those produced by professional designers.

연구 동기 및 목표

• 기존 실내 환경 합성 방법이 단일 실에 국한되어 있어 기능 붕괴와 스타일 일관성 부족 문제를 야기하는 한계를 해결한다.
• 한 개의 실이 여러 기능을 수행할 수 있도록 다기능 실 지원을 가능하게 한다. 예를 들어, 거실이 식사 공간으로도 기능하도록 한다.
• 사용자가 제공한 스타일 참조 기반으로 다수의 실 간 일관된 소재 및 색상 팔레트를 확보함으로써 주거 수준의 스타일 호환성을 도입한다.
• 기능 다양성, 공간 제약, 스타일 조화를 동시에 고려하는 통합된 객체 추천 파이프라인을 개발한다.
• 자동화된 환경 합성 기법이 미학적 품질과 통일성 측면에서 전문 인테리어 디자이너가 설계한 결과와 유사한 수준의 성능을 낼 수 있음을 입증한다.

제안 방법

• 각 실을 다중라벨 문서로 모델링하고, 객체를 단어로 간주하여 SUNCG 데이터셋에서 카테고리 수준의 객체 발생 확률을 학습하기 위해 Labeled Latent Dirichlet Allocation (L-LDA)를 사용한다.
• 사용자가 제공한 참조 이미지를 기반으로 5색 팔레트 추출 방법을 활용해 실별 스타일 팔레트를 생성함으로써 스타일 호환성을 이끌어낸다.
• 공간 점유, 그룹 수준의 소재 일관성(예: 침대와 낮은 탁자), 다중 실 간 전반적 스타일 조화를 고려한 세 가지 핵심 제약 조건을 갖춘 조합 최적화 문제로 인스턴스 수준의 객체 추천을 수립한다.
• 세 가지 에너지 항목을 포함한 비용 함수를 도입한다: 점유 제약(과도한 혼잡 방지), 그룹 제약(객체 그룹 내 소재 일관성 강제), 전반적 스타일 제약(참조 이미지의 스타일과 일치).
• 인스턴스 선택 이후 기존의 객체 배치 방법(Anonymous, 2020)을 활용해 최종적으로 잘 정리된 3D 환경를 생성한다.
• Chen 등(2015)의 소재 제안 방법을 수정 적용하여 스타일 호환성을 향상시키며, 이중 소재 제약 조건을 그룹 기반 일관성 모델링으로 대체한다.

실험 결과

연구 질문

• RQ1 L-LDA와 같은 토픽 모델이 라벨된 실 간 객체 카테고리 분포를 모델링함으로써 다중실, 다기능 실 실내 환경 합성에 효과적으로 기여할 수 있는가?
• RQ2 단일 참조 이미지를 기반으로 하여 실 내부뿐 아니라 다수의 실 간 스타일 호환성을 어떻게 확보할 수 있는가?
• RQ3 개별 객체의 소재 제안이 아닌 그룹 수준의 소재 일관성 제약을 통합할 경우, 합성된 실내 환경의 현실성과 조화가 얼마나 향상되는가?
• RQ4 기능 다양성, 공간 제약, 스타일 호환성을 동시에 고려하는 조합 최적화 프레임워크가 전문가가 설계한 결과와 유사한 수준의 환경을 생성할 수 있는가?
• RQ5 단일 실, 단일 라벨 기반의 베이스라인 대비 시각적 품질, 스타일 일관성, 기능 다양성 측면에서 제안된 방법의 성능은 어떠한가?

주요 결과

• 제안된 방법은 스타일 호환성과 시각적 미학 측면에서 기존의 기준 방법을 크게 앞서며, 사용자 연구에서 합성 환경의 평균 점수가 4.5/5.0로 기록된 반면, 원본 SUNCG 환경는 3.2/5.0에 머물렀다.
• 그룹 제약 항목을 포함시킴으로써 관련 객체들(예: TV 스탠드와 커피 테이블) 간의 소재 일관성이 감소하여 보다 조화롭고 현실적인 실 구성이 가능해졌다.
• 전반적 스타일 제약 항목은 다수의 실이 참조 이미지의 스타일과 일치하도록 유도하여 거주 전반에 걸친 통일된 미학을 구현하였으며, 이는 이 제약 항목이 없는 방법에 비해 유의미하게 높은 평가를 받았다.
• 점유 제약 항목은 과도한 혼잡을 방지하여 실이 항상 시각적으로 정돈되고 기능적으로 유용하게 유지됨을 보여주었으며, 이 항목이 활성화되었을 때 혼잡한 레이아웃 감소가 확인되었다.
• 25명의 참가자(전문 디자이너 5명 포함)를 대상으로 한 사용자 연구 결과, 파이프라인에 의해 생성된 환경는 객체 다양성, 일관성, 스타일 호환성, 기능 충족도, 시각적 미학의 다섯 가지 측면에서 원본 SUNCG 환경보다 높은 평가를 받았다.
• 다중라벨 실을 허용함으로써 기능이 겹치는 공간(예: 통합된 거실-식사실)에서도 다양한 객체 세트를 구성할 수 있어 기능 붕괴 문제를 효과적으로 완화하였다.