[논문 리뷰] Object Scene Representation Transformer

Mehdi S. M. Sajjadi, Daniel Duckworth외 7명|arXiv (Cornell University)|2022. 06. 14.

Advanced Vision and Imaging인용 수 11

한 줄 요약

OSRT는 라이트 필드 파arametrization과 새로운 Slot Mixer 디코더를 사용하여 새로운 시야 합성에 기반한 3D 중심, 비지도 학습 신경 장면 표현 모델을 제안한다. 이 모델은 객체 중심 분해를 학습하며, 객체 수에 관계없이 픽셀당 단일 패assing 渲 렌더링을 가능하게 하여 이전 방법보다 3,000배 이상 빠른 성능을 달성한다. 이는 객체 발견과 3D 일致성 측면에서 최신 기술 수준을 확보한다.

ABSTRACT

A compositional understanding of the world in terms of objects and their geometry in 3D space is considered a cornerstone of human cognition. Facilitating the learning of such a representation in neural networks holds promise for substantially improving labeled data efficiency. As a key step in this direction, we make progress on the problem of learning 3D-consistent decompositions of complex scenes into individual objects in an unsupervised fashion. We introduce Object Scene Representation Transformer (OSRT), a 3D-centric model in which individual object representations naturally emerge through novel view synthesis. OSRT scales to significantly more complex scenes with larger diversity of objects and backgrounds than existing methods. At the same time, it is multiple orders of magnitude faster at compositional rendering thanks to its light field parametrization and the novel Slot Mixer decoder. We believe this work will not only accelerate future architecture exploration and scaling efforts, but it will also serve as a useful tool for both object-centric as well as neural scene representation learning communities.

연구 동기 및 목표

• RGB 이미지에서 지도 학습 없이 3D 일관성 있고 객체 중심인 장면 표현을 학습하는 것.
• 이전의 객체 중심 3D 렌더링 방법이 수천 번의 디코딩 패assing을 요구하는 계산 복잡도의 한계를 극복하는 것.
• 학습 중에 볼 수 없었던 더 많은 객체를 포함한 장면에 일반화할 수 있도록 하는 것.
• 추가 정규화나 지도 학습 없이 L2 손실만을 사용하여 고품질의 3D 일관성 있는 객체 분해를 달성하는 것.
• 대규모 수의 객체를 포함한 복잡하고 다양한 장면으로 객체 중심 장면 표현 학습을 확장하는 것.

제안 방법

• OSRT는 라이트 필드 파arametrization을 사용하는 장면 표현 트랜스포머(SRT) 백본을 활용하여, 잠재 장면 표현에서 단일 전방 패assing으로 픽셀 값을 직접 예측한다.
• 스лот 어텐션 모듈은 집합 임bed된 장면 표현을 객체 중심의 슬롯 장면 표현으로 변환하며, 각 슬롯은 객체 또는 배경 부분에 대응한다.
• 새로운 Slot Mixer 디코더는 모든 슬롯을 동시에 처리함으로써 임의의 시야를 효율적으로 단일 패assing 렌더링할 수 있게 하여 개별 객체의 디코딩 단계가 필요 없도록 한다.
• 모델는 깊이 지도 학습이나 명시적 배경 모델링 없이도 단순한 L2 손실을 사용하여 픽셀 재구성에 대해 엔드 투 엔드로 훈련된다.
• 라이트 필드 공식화는 명시적 3D 지도 학습 없이도 장면 재구성의 공간적 및 3D 일관성을 보장한다.
• 아키텍처는 학습된 초기화와 무작위 초기화 모두를 지원하여, 훈련 중에 본 바보다 더 많은 객체를 포함한 분포 외 장면에 대해 강력한 일반화 성능을 제공한다.

실험 결과

연구 질문

• RQ1 RGB 이미지와 새로운 시야 합성만을 지도 신호로 사용하여 3D 중심, 객체 중심 장면 표현을 비지도 방식으로 학습할 수 있는가?
• RQ2 객체 중심 3D 렌더링의 계산 비용을 수천 번의 디코딩 패assing에서 픽셀당 단일 전방 패assing으로 줄일 수 있는가?
• RQ3 학습 중에 본 것보다 더 많은 객체를 포함한 장면에 대해 모델의 일반화 성능은 어떠한가?
• RQ4 새로운 시야에서 객체 분해의 3D 일관성은 어느 정도 유지되는가?
• RQ5 깊이, 인스턴스 마스크 등 명시적 지도 학습이 없는 것이 객체 발견 품질에 해로운가, 혹은 유리한가?

주요 결과

• OSRT는 도전적인 MSN-Hard 데이터셋에서 FG-ARI 비율 0.940을 달성하여 객체 분해의 높은 3D 일관성을 보여준다.
• 5개의 입력 시야를 사용할 경우, OSRT는 더 높은 FG-ARI 비율 0.987을 기록하여 제한된 지도 학습 조건에서도 강력한 3D 일관성을 입증한다.
• 테스트 시 7~10개의 객체를 포함한 장면에 대해 OSRT는 무작위 슬롯 초기화로 PSNR 33.36과 FG-ARI 0.968을 달성하며 효과적인 일반화 성능을 보인다.
• Slot Mixer 디코더 덕분에 객체 수에 관계없이 픽셀당 단일 패assing 렌더링이 가능해, 이전 방법보다 3,000배 이상 빠른 성능을 확보한다.
• CLEVR-3D 데이터셋에서 OSRT는 학습된 슬롯 초기화로 내부 분포 장면에서 PSNR 40.84와 FG-ARI 0.996을 달성한다.
• 마스크 번짐 및 바르노이 타일링 실패와 같은 제한점이 존재하지만, 다양한 복잡한 장면에서 강력한 성능 유지를 유지한다.