[논문 리뷰] Generative View Synthesis: From Single-view Semantics to Novel-view Images

Tewodros Habtegebrial, Varun Jampani외 2명|arXiv (Cornell University)|2020. 08. 20.

Computer Graphics and Visualization Techniques인용 수 7

한 줄 요약

이 논문은 단일 2D 세분도에서 3D 장면 구조와 외관을 동시에 추정함으로써 사진처럼 사실적인, 기하학적으로 일관된 신규 시점 이미지를 생성하는 Generative View Synthesis(GVS)를 제안한다. 이는 의미 정보를 3D 계층적 표현으로 승화시키고, 계층적 특징을 목표 시점에 투영함으로써 고해상도이고 시점 간 일관성 있는 이미지를 생성하며, 스타일 편집과 의미 편집을 지원한다.

ABSTRACT

Content creation, central to applications such as virtual reality, can be a tedious and time-consuming. Recent image synthesis methods simplify this task by offering tools to generate new views from as little as a single input image, or by converting a semantic map into a photorealistic image. We propose to push the envelope further, and introduce Generative View Synthesis (GVS), which can synthesize multiple photorealistic views of a scene given a single semantic map. We show that the sequential application of existing techniques, e.g., semantics-to-image translation followed by monocular view synthesis, fail at capturing the scene's structure. In contrast, we solve the semantics-to-image translation in concert with the estimation of the 3D layout of the scene, thus producing geometrically consistent novel views that preserve semantic structures. We first lift the input 2D semantic map onto a 3D layered representation of the scene in feature space, thereby preserving the semantic labels of 3D geometric structures. We then project the layered features onto the target views to generate the final novel-view images. We verify the strengths of our method and compare it with several advanced baselines on three different datasets. Our approach also allows for style manipulation and image editing operations, such as the addition or removal of objects, with simple manipulations of the input style images and semantic maps respectively. Visit the project page at https://gvsnet.github.io.

연구 동기 및 목표

• 기존 순차적 파이프라인들이 충분히 해결하지 못하는 단일 의미도에서 기하학적이고 광학적으로 일관된 신규 시점 생성 문제를 해결한다.
• 의미에서 이미지로의 변환을 수행한 후 단안 시점 합성 적용 방식의 한계를 극복하여 시점 간 구조적 불일치를 방지한다.
• 의미도에서 명확한 음영 경계를 활용하여 3D 장면 구조 추정 및 시점 일관성 향상을 도모한다.
• 사용자가 의미를 편집(예: 객체 삽입/제거)할 수 있도록 유도적 콘텐츠 생성을 가능하게 하며, 모든 신규 시점에 걸쳐 변화를 원활하게 전파한다.
• 후속 3D 인식 응용 프로그램에 유용한 단일 시점 의미에서 고품질 깊이 맵을 예측할 수 있음을 입증한다.

제안 방법

• 메모리 비용을 줄이기 위해 의미 층과 투명도 층의 하이브리드 구조를 사용해 입력 2D 의미도를 3D 계층적 표현으로 승화한다. 이를 '승화된 의미'라 한다.
• 신경망을 통해 승화된 의미를 계층적 외관 특징으로 변환하여 특징 공간 내에서 의미 및 기하학적 구조를 유지한다.
• 다양한 미분 가능 워핑 및 믹싱 연산을 사용해 계층적 외관 특징을 목표 시점 평면에 투영하여 신규 시점 특징을 생성한다.
• 경량 정밀화 네트워크를 사용해 투영된 특징을 최종 RGB 이미지로 변환하여 사진적 사실성과 일관성을 확보한다.
• MPI 평면 전반에 걸쳐 투명도 추정(알파)을 통합하여 의미만으로도 깊이 맵 예측이 가능하게 하여 3D 구조 이해를 향상시킨다.
• 스타일 이미지를 조건으로 하여 외관 변환에 스타일 편집을 가능하게 하고, 입력 의미도의 직접 수정을 통해 의미 편집을 지원한다.

실험 결과

연구 질문

• RQ1 입력 RGB 이미지 없이 단일 의미도만으로 여러 장소에서 사진처럼 사실적인, 기하학적으로 일관된 신규 시점 이미지를 생성할 수 있는가?
• RQ2 의미에서부터 3D 구조와 외관을 동시에 추정하는 것이 의미에서 이미지로의 변환과 단안 시점 합성의 순차적 적용 방식보다 성능이 뛰어나게 되는가?
• RQ3 의미도가 명시적인 음영 경계를 제공하므로, 시점 합성에 있어 RGB 이미지보다 더 강력한 구조적 사전 지식을 제공할 수 있는가?
• RQ4 단일 의미도를 사용해 의미 편집(예: 객체 삽입/제거)을 수행했을 때, 여러 신규 시점에 걸쳐 일관성 있게 전파될 수 있는가?
• RQ5 고품질 깊이 맵을 단일 의미 입력에서 직접 예측할 수 있으며, RGB 기반 깊이 추정 방법과 비교해 어떤가?

주요 결과

• GVSNet은 SPADE + 단일 이미지 MPI와 같은 기준선 방법보다 얇은 구조나 음영 경계를 더 잘 유지하여 기하학적으로 훨씬 더 일관된 신규 시점 이미지를 생성한다.
• SUN+SPADE와 비교해 본 연구 방법은 각 시점 별로 독립된 이미지 변환을 수행하기 때문에 발생하는 구조적 불일치 문제를 피해 더 뛰어난 시점 일관성을 달성한다.
• 의미만으로부터의 깊이 추정은 얇거나 미세한 구조 영역에서 RGB 기반 모델인 MonoDepth보다 더 정확한 깊이 맵을 생성한다.
• 본 방법은 효과적인 의미 편집을 가능하게 한다: 2D 의미도에서 객체 삽입 및 제거가 모든 시점에 걸쳐 일관적이고 현실적인 신규 시점 이미지로 반영된다.
• 모델은 CARLA, Cityscapes, Virtual-KITTI-2 데이터셋 간에 일반화가 가능하여 3D 인식 의미 승화 및 특징 투영 파이프라인의 강건성과 이식 가능성을 입증한다.
• 의미 층과 투명도 층의 하이브리드 계층 표현은 고품질 합성 및 깊이 추정을 유지하면서도 메모리 사용량을 효과적으로 줄였다.