[논문 리뷰] SceneFormer: Indoor Scene Generation with Transformers

Xinpeng Wang, Chandan Yeshwanth외 1명|arXiv (Cornell University)|2020. 12. 17.

3D Surveying and Cultural Heritage참고 문헌 33인용 수 15

한 줄 요약

SceneFormer는 실내 배치도 또는 텍스트 기술서로부터 객체 카테고리, 3D 위치, 방향, 크기를 예측하는 트랜스포머 기반 자동회귀 모델을 제안한다. 이는 수동으로 관계를 주석 처리하지 않고도 자기주의 주의를 통해 객체 간 관계를 암묵적으로 학습한다. 최신 기술인 FastSynth보다 빠른 추론 속도(1.48초/장면)와 더 높은 사용자 선호도(53.9–56.7%)를 달성하면서도, 텍스트 조건부 생성에서 높은 현실감과 정확도를 유지한다.

ABSTRACT

We address the task of indoor scene generation by generating a sequence of objects, along with their locations and orientations conditioned on a room layout. Large-scale indoor scene datasets allow us to extract patterns from user-designed indoor scenes, and generate new scenes based on these patterns. Existing methods rely on the 2D or 3D appearance of these scenes in addition to object positions, and make assumptions about the possible relations between objects. In contrast, we do not use any appearance information, and implicitly learn object relations using the self-attention mechanism of transformers. We show that our model design leads to faster scene generation with similar or improved levels of realism compared to previous methods. Our method is also flexible, as it can be conditioned not only on the room layout but also on text descriptions of the room, using only the cross-attention mechanism of transformers. Our user study shows that our generated scenes are preferred to the state-of-the-art FastSynth scenes 53.9% and 56.7% of the time for bedroom and living room scenes, respectively. At the same time, we generate a scene in 1.48 seconds on average, 20% faster than FastSynth.

연구 동기 및 목표

• 시각적 외관이나 수동으로 주석 처리된 객체 관계에 의존하지 않고 다양하고 현실적인 3D 실내 장면을 생성하기 위해.
• 각 객체의 특성을 시퀀스 내 토큰으로 간주하여 트랜스포머를 사용해 시퀀스 생성 작업으로 실내 장면 생성을 모델링하기 위해.
• 크로스 어텐션 메커니즘을 통해 실내 레이아웃과 자연어 기술서 모두에 대해 민첩하게 조건부 설정할 수 있도록 하기 위해.
• 기존 자동회귀 장면 생성 방법과 비교해도 현실감을 유지하거나 향상시키면서 추론 속도를 향상시키기 위해.
• 사전에 정의된 관계 히ュ리스틱이나 주석이 필요 없이 자기주의 주의를 통해 객체 간 공간적 및 관계적 패턴을 암묵적으로 학습하기 위해.

제안 방법

• 각 실내 장면를 객체 속성 토큰의 시퀀스로 표현한다: 클래스, 3D 위치(이산화된), 방향, 크기.
• 이전에 생성된 객체들에 조건화된 다음 객체의 속성을 예측하기 위해 자동회귀 생성을 사용하는 트랜스포머 디코더를 사용한다.
• 자기주의 주의 메커니즘을 활용해 수동으로 관계를 감시하지 않아도 복잡한 공간적 및 관계적 의존성을 암묵적으로 학습한다.
• 문/창의 위치와 실내 경계를 위치 인코딩을 통해 실내 레이아웃에 조건부 설정한다.
• 텍스트 기술서를 위해 텍스트 인코더(BERT, ELMo 등)와 트랜스포머 디코더 간의 크로스 어텐션을 사용한다.
• 3D 좌표를 벽돌 유사 격자로 이산화하여 객체 위치 예측의 미분 가능성과 효율성을 높인다.

Figure 2: Layout-conditioned SceneFormer: We take as input the room layout describing the room shape and locations of doors and windows. The SceneFormer model sequentially generates the properties of the next object and inserts the object into the existing scene. The final output scene is shown on t

실험 결과

연구 질문

• RQ1 트랜스포머 기반의 시퀀스 모델은 시각적 외관이나 사전에 정의된 객체 관계 없이도 현실적인 3D 실내 장면을 생성할 수 있는가?
• RQ2 트랜스포머의 자기주의 주의가 장면 내 객체 간 공간적 및 관계적 패턴을 얼마나 잘 암묵적으로 학습하는가?
• RQ3 기본 모델 대비 텍스트 기술서에 조건부 설정했을 때 객체 카테고리 및 공간 관계 생성 정확도가 얼마나 향상되는가?
• RQ4 고속 추론과 높은 사용자 선호도를 유지하면서도 레이아웃 및 텍스트 조건부 장면 생성을 달성할 수 있는가?
• RQ5 모델 성능은 다양한 장면 유형(예: 침실 vs. 거실)과 조건부 설정 방식에 따라 어떻게 달라지는가?

주요 결과

• SceneFormer는 평균적으로 1.48초의 추론 시간을 기록하여 FastSynth보다 20% 빠르고, PlanIT 및 DeepSynth보다 한 단계 빠르다.
• 사용자 선호도 평가에서 SceneFormer가 생성한 장면은 침실 장면에서 53.9%의 비교에서 FastSynth를, 거실 장면에서 56.7%의 비교에서 FastSynth를 앞섰다.
• 텍스트 조건부 생성에서 BERT 인코더 버전은 침실 장면에서 객체 카테고리 정확도 84.83%와 관계 정확도 46.42%를 달성했으며, 이는 GT 기준(10.67% 관계 정확도)을 크게 뛰어넘었다.
• 다중 트랜스포머 모델 설정은 다음 토큰 예측 정확도를 51.5%로 끌어올려 단일 트랜스포머 베이스라인 대비 14.5점 향상시켰으며, 앙상블 모델링의 유용성을 입증했다.
• ELMo 및 BERT 임베딩을 사용했을 때 각각 76.59%와 84.83%의 객체 카테고리 정확도를 기록해 입력 텍스트 기술서와 강한 일치를 보였다.
• 감각 평가 결과, 현실감 점수는 4.61±1.84, 텍스트 일치 점수는 4.38±1.73로, 생성된 장면이 현실적이며 텍스트 프롬프트와 의미적으로 일치함을 나타냈다.

Figure 3: Layout-conditioned SceneFormer model. Start tokens are shown in green, tokens for existing objects in gray and tokens for new objects in yellow. Stop tokens and padding are omitted. All models take 3 kinds of sequences as input - category, orientation and location. Their respective outputs