[논문 리뷰] Transformation-Grounded Image Generation Network for Novel 3D View Synthesis

Eunbyung Park, Shuicheng Yan외 3명|arXiv (Cornell University)|2017. 03. 08.

Advanced Vision and Imaging참고 문헌 44인용 수 36

한 줄 요약

이 논문은 단일 이미지에서 새로운 3D 뷰를 합성하기 위한 변환 기반 이미지 생성 네트워크(TVSN)를 제안한다. 시점 변환을 모델링하기 위해 픽셀 흐름과 가시성 맵을 명시적으로 예측함으로써, TVSN은 복구 네트워크를 조정하여 가림 영역을 환기하고 왜곡을 수정한다. 이로 인해 합성 이미지와 실제 이미지에서 실사성, 세부 사항, 3D 재구성 정밀도 측면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present a transformation-grounded image generation network for novel 3D view synthesis from a single image. Instead of taking a 'blank slate' approach, we first explicitly infer the parts of the geometry visible both in the input and novel views and then re-cast the remaining synthesis problem as image completion. Specifically, we both predict a flow to move the pixels from the input to the novel view along with a novel visibility map that helps deal with occulsion/disocculsion. Next, conditioned on those intermediate results, we hallucinate (infer) parts of the object invisible in the input image. In addition to the new network structure, training with a combination of adversarial and perceptual loss results in a reduction in common artifacts of novel view synthesis such as distortions and holes, while successfully generating high frequency details and preserving visual aspects of the input image. We evaluate our approach on a wide range of synthetic and real examples. Both qualitative and quantitative results show our method achieves significantly better results compared to existing methods.

연구 동기 및 목표

• 입력 이미지 하나에서 현실적인 새로운 3D 뷰를 생성하는 데 도전하며, 특히 가림 영역과 누락된 기하학적 구조를 다루는 것.
• 순수 생성 모델과 기하 기반 방법의 한계를 극복하기 위해 명시적인 3D 변환 추론과 이미지 보완을 결합하는 것.
• 합성 뷰에서 왜곡과 구멍과 같은 잡음 요소를 줄여 시각적 품질을 향상시키는 것.
• 후속 3D 재구성 작업에 적합한 고해상도, 세부 사항을 유지하는 새로운 뷰 합성 구현.
• 복잡한 장면에 대한 강건성을 향상시키기 위해 무작위 배경이 포함된 합성 데이터로 훈련하여 실제 세계 이미지로의 일반화를 가능하게 하는 것.

제안 방법

• 입력에서 새로운 뷰로의 픽셀 단위 변환 흐름과 가시성 맵을 예측하기 위해 비가림 인식 이미지 흐름 네트워크(DOAFN)를 도입한다.
• 예측된 흐름과 가시성 맵을 사용하여 이미지 생성 과정을 안내하는 마스킹된 변환 입력을 생성한다.
• 두 단계의 인코더-디코더 아키텍처를 활용: 첫 번째로 DOAFN을 통해 변환과 가시성 예측, 두 번째로 이미지 보완을 위한 복구 네트워크.
• 마스킹된 변환을 조건으로 하여 이미지 생성기를 조정하여 보이지 않는 부분을 환기하고 왜곡된 영역을 개선한다.
• 실사성과 세부 사항 유지 향상을 위해 VGG16 기반의 인지적 손실과 적대적 손실을 조합한 손실 함수를 사용하여 훈련한다.
• 다중 시점 스테레오 재구성 기법을 활용하여 3D 일관성을 평가하고, 생성된 뷰를 사용해 질감이 있는 3D 메시를 생성한다.

실험 결과

연구 질문

• RQ1 명시적인 3D 시점 변환 모델링이 새로운 뷰 합성에서 이미지 생성 품질을 향상시키는가?
• RQ2 가시성 인식 흐름 예측은 합성 뷰에서 구멍과 왜곡과 같은 잡음 요소를 어떻게 줄이는가?
• RQ3 변환 기반 이미지 생성 파이프라인은 얼마나 높은 품질의 3D 재구성에 적합한 뷰를 생성할 수 있는가?
• RQ4 복잡한 배경과 조명 조건을 가진 실제 세계 이미지로 일반화할 수 있는가?
• RQ5 적대적 손실과 인지적 손실을 조합하면 표준 손실 함수에 비해 더 나은 세부 사항과 실사성을 달성하는가?

주요 결과

• TVSN은 3D ShapeNet 데이터셋에서 기존 방법보다 뛰어난 시각적 성능을 보이며, 더 선명한 질감과 더 일관된 기하학적 형태를 생성한다.
• VGG16 손실과 적대적 손실의 조합이 L1 또는 특징 재구성 기반 베이스라인에 비해 왜곡과 구멍을 크게 줄여 가장 뛰어난 시각적 품질을 제공한다.
• TVSN에서 생성된 뷰는 AFN 등 다른 베이스라인에 비해 다중 시점 스테레오 재구성 기반으로 더 높은 품질의 질감이 있는 3D 메시를 생성한다.
• 웹에서 확보한 실제 이미지에서 TVSN은 일관된 기하학적 형태와 외관을 갖춘 현실적인 새로운 뷰를 생성하지만, 조명과 배경 일관성 문제는 여전히 도전 과제이다.
• 입력에 보이지 않는 부분(예: 뒷바퀴, 헤드라이트)을 학습된 3D 형태 사전 지식에 기반해 성공적으로 재구성한다.
• 이 방법은 단일 이미지에서 360도 뷰 합성을 가능하게 하며, 재구성된 3D 모델이 더 나은 질감과 기하학적 정밀도를 보인다.