[논문 리뷰] Unsupervised Discovery of Object Radiance Fields

Hong-Xing Yu, Leonidas Guibas외 1명|arXiv (Cornell University)|2021. 07. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 66인용 수 19

한 줄 요약

이 논문은 단일 이미지에서 다중 시점 RGB 이미지만을 입력으로 사용하여 3D 인지적이고 객체 중심인 장면 표현을 비지도 학습 방식으로 학습하는 Object Radiance Fields (uORF)를 제안한다. 조건부 NeRF와 딥 추론 네트워크를 통합하고 코arse-to-fine 학습 전략을 적용함으로써 uORF는 비지도 3D 장면 분해 분야에서 최고 성능을 달성하며, 3D 장면 편집 및 미리 보지 않은 객체 배치와 외관에 대한 일반화와 같은 새로운 작업을 가능하게 한다.

ABSTRACT

We study the problem of inferring an object-centric scene representation from a single image, aiming to derive a representation that explains the image formation process, captures the scene's 3D nature, and is learned without supervision. Most existing methods on scene decomposition lack one or more of these characteristics, due to the fundamental challenge in integrating the complex 3D-to-2D image formation process into powerful inference schemes like deep networks. In this paper, we propose unsupervised discovery of Object Radiance Fields (uORF), integrating recent progresses in neural 3D scene representations and rendering with deep inference networks for unsupervised 3D scene decomposition. Trained on multi-view RGB images without annotations, uORF learns to decompose complex scenes with diverse, textured background from a single image. We show that uORF enables novel tasks, such as scene segmentation and editing in 3D, and it performs well on these tasks and on novel view synthesis on three datasets.

연구 동기 및 목표

• 단일 이미지에서 인과적이고 3D 인지적이며 생성적인 장면 표현을 비지도 학습 방식으로 학습하는 방법을 개발하는 것.
• 감독 없이도 복잡한 3D에서 2D 이미지 형성 과정을 딥 러닝과 통합하는 과제를 해결하는 것.
• 3D 애너테이션이나 카테고리별 감독 없이도 객체와 배경으로의 3D 장면 분해를 가능하게 하는 것.
• 새로운 3D 장면 편집과 미리 보지 않은 객체 배치 및 외관에 대한 일반화를 지원하는 것.
• 진행적인 코arse-to-fine 학습을 통해 신경 렌더링의 계산 효율성을 향상시키는 것.

제안 방법

• uORF는 신경 암시 표현을 사용하여 3D 장면을 개별 객체 렌더링 필드와 배경 렌더링 필드의 조합으로 모델링한다.
• 유도 가능한 볼륨 렌더링을 사용하여 유추된 렌더링 필드에서 새로운 시점의 이미지를 렌더링하며, 픽셀 공간에서의 재구성 손실을 감독으로 사용한다.
• 계산 비용을 줄이고 표현 품질을 향상시키기 위해 새로운 진행적 코어스-투-파인 학습 스케줄을 도입한다.
• 복잡한 장면에서의 학습 품질 향상을 위해 배경 기하학과 외관을 별도로 명시적으로 모델링한다.
• 이미지 정밀도와 단일 이미지 3D 추론의 강건성을 향상시키기 위해 체감 및 적대적 손실을 통합한다.
• 조건부 NeRF를 활용하여 단일 입력 이미지에서 객체별 렌더링 필드를 분리된 방식으로 추론할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델은 3D 감독 없이도 단일 이미지에서 3D 인지적이고 객체 중심의 장면 표현을 추론할 수 있는가?
• RQ2 밀집 배치된 장면과 같은 새로운 공간적 배열의 객체에 대해 모델이 일반화할 수 있는가?
• RQ3 학습 중에 볼 수 없었던 형태와 색상의 조합에 대해 모델이 일반화할 수 있는가?
• RQ4 제안된 코어스-투-파인 학습 전략은 계산 비용과 재구성 품질을 균형 있게 조절하는 데 얼마나 효과적인가?
• RQ5 유추된 렌더링 필드는 객체 재배치 및 배경 교체와 같은 새로운 3D 장면 편집 작업을 지원할 수 있는가?

주요 결과

• uORF는 Room-Diverse 데이터셋에서 3D 분할 ARI 스코어 87.4 ± 0.4를 기록하여 기존 베이스라인을 크게 앞서며 성능을 뛰어넘었다.
• 11개의 밀집된 객체가 포함된 packed-CLEVR-11 벤치마크에서 uORF는 NV-ARI 85.0 ± 0.3을 달성하여 복잡한 공간적 배열에 대한 강력한 일반화 능력을 입증했다.
• 형태와 색상의 새로운 조합에 대해 일반화되었으며, 빨간 실린더와 파란 구를 포함한 테스트 세트에서 ARI 87.4 ± 0.4를 기록하여 동일한 분포로 훈련된 오라클 모델과 유사한 성능을 보였다.
• 절단 실험 결과, 재구성 손실, 체감 손실, 적대적 손실을 모두 조합할 경우 이미지 품질이 가장 뛰어나져 LPIPS가 0.1729로 감소했다.
• uORF는 최소한의 잡음과 높은 정밀도로 새로운 시점의 이미지를 합성하여, 정량적·정성적 평가에서 NeRF-AE와 Slot Attention을 모두 능가했다.
• 명시적인 배경 모델링과 분리된 렌더링 필드 덕분에 실용적인 3D 장면 편집이 가능해졌으며, 개별 객체 이동 및 배경 수정이 가능해졌다.