[논문 리뷰] Equivariant Neural Rendering

Emilien Dupont, Miguel Ángel Bautista외 5명|arXiv (Cornell University)|2020. 06. 13.

3D Shape Modeling and Analysis참고 문헌 41인용 수 21

한 줄 요약

이 논문은 3D 감독 없이 2D 이미지에서 신경망 기반 시점 표현을 학습하기 위한 새로운 프레임워크를 제안한다. 이는 3D 변환에 대한 잠재 표현의 등장성(-equivariance)을 강제함으로써 달성된다. 이 방법은 단일 이미지에서 실시간 추론과 렲영을 가능하게 하며, 학습 시 시점 정렬이 필요 없고 테스트 시 카메라 자세 정보가 없어도 경쟁적인 성능을 달성한다. 특히 합성 및 복잡한 실세계 데이터셋 모두에서 성능을 입증한다.

ABSTRACT

We propose a framework for learning neural scene representations directly from images, without 3D supervision. Our key insight is that 3D structure can be imposed by ensuring that the learned representation transforms like a real 3D scene. Specifically, we introduce a loss which enforces equivariance of the scene representation with respect to 3D transformations. Our formulation allows us to infer and render scenes in real time while achieving comparable results to models requiring minutes for inference. In addition, we introduce two challenging new datasets for scene representation and neural rendering, including scenes with complex lighting and backgrounds. Through experiments, we show that our model achieves compelling results on these datasets as well as on standard ShapeNet benchmarks.

연구 동기 및 목표

• 명시적인 3D 감독 또는 시점 정렬이 필요 없는 시점 표현 학습 프레임워크를 개발하는 것.
• 학습 시 상대적 카메라 자세만을 사용하여 단일 이미지에서 실시간 추론 및 새로운 시점 렌더링을 가능하게 하는 것.
• 3D 변환에 대한 등장성이라는 새로운 인덕티브 바이어스를 도입하여 강건하고 일반화 능력이 뛰어난 3D 시점 표현을 학습하는 것.
• 복잡한 배경과 복잡한 조명 조건을 가진 실제 시점에서의 신경 렌더링 평가를 위한 두 가지 새로운 도전 과제 데이터셋 — MugsHQ와 3D Mountains — 를 제작하고 공개하는 것.
• 등장성이 다양한 시점 간 일반화에 강력한 인덕티브 바이어스가 될 수 있음을 입증하는 것.

제안 방법

• 3D 시점 변화와 잠재 시점 표현의 변환 간 등장성을 강제하기 위해 미분 가능한 손실 함수를 사용한다.
• 잠재 표현은 공간적이고 3D이며 박자 유사 격자 구조를 가지며 기하학적 추론과 3D 인지 특징 학습을 가능하게 한다.
• 학습에는 진짜 3D 애노테이션이나 명시적 감독 없이, 오직 카메라 자세가 있는 2D 이미지만 사용된다.
• 렌더링은 반복 최적화 없이 신경 렌더러를 한 번의 순방향 전파로 수행하여 실시간 추론이 가능하다.
• 원칙적으로 아키텍처에 독립적이며, 등장성 손실은 어떤 3D 구조를 가진 잠재 표현에도 적용 가능하다.
• 모델은 단일 이미지에서 시점 표현을 추론하고, 예를 들어 회전과 같은 변환을 적용하여 새로운 시점을 생성한다.

실험 결과

연구 질문

• RQ1 3D 변환에 대한 등장성은 3D 시점 표현을 3D 감독 없이 2D 이미지에서 학습하는 데 강력한 인덕티브 바이어스가 될 수 있는가?
• RQ2 학습 시 상대적 카메라 자세만을 사용하고 테스트 시 자세 정보가 없어도 단일 이미지에서 실시간으로 시점 표현을 학습하고 렌더링할 수 있는가?
• RQ3 이 방법은 복잡한 배경과 현실적인 조명 조건을 가진 복잡한 실세계 시점에 얼마나 잘 일반화되는가?
• RQ4 학습 시 서로 다른 시점 간의 정렬 또는 공통 좌표계가 필요 없이 모델이 성능을 유지할 수 있는가?
• RQ5 비등장성 기반 기준 모델 대비 등장성 기반 모델이 다양한 형태와 질감에 걸쳐 일반화 능력이 얼마나 향상되는가?

주요 결과

• 모델은 표준 ShapeNet 벤치마크와 새로운 MugsHQ 및 3D Mountains 데이터셋 모두에서 경쟁적인 새로운 시점 생성 성능을 달성한다.
• 추론과 렌더링이 실시간으로 수행되며, 단일 순방향 전파로 이루어지며, 이미지당 수분이 넘는 최적화가 필요한 기존 방법들과는 대조된다.
• 학습 시 상대적 카메라 자세만을 사용하므로 시점 정렬이나 공통 좌표계가 필요 없이 시점 간 일반화가 가능하다.
• 모델은 반사 효과나 배경의 혼잡함과 같은 복잡한 시각적 효과를 성공적으로 렌더링하여 현실적인 시점 복잡성에 대한 강건성을 입증한다.
• 실패 사례로는 얇은 구조물(예: 머그컵 손잡이)이나 비정상적인 형태의 재구성이 어려운 경우가 있으며, 미세 기하 구조를 모델링하는 데 한계가 있음을 시사한다.
• 다양한 형태와 질감에 걸쳐 비등장성 기반 기준 모델 대비 일반화 능력이 뛰어나며, 시점 변환에 대해 일관된 성능 유지를 유지한다.