[논문 리뷰] Novel View Synthesis for Large-scale Scene using Adversarial Loss

Xiaochuan Yin, Henglai Wei외 3명|arXiv (Cornell University)|2018. 02. 20.

Advanced Vision and Imaging참고 문헌 17인용 수 8

한 줄 요약

이 논문은 적대적 손실과 역깊이 특징을 활용하여 대규모 실외 환경에서의 새로운 시점 합성에 대해 완전 컨볼루션형 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 컨볼루션 네트워크로 학습된 희소 깊이 감독을 통한 기하학적 구조를 명시적으로 통합하고, 변환 제약 조건이 적용된 GAN 기반 손실을 적용함으로써, 큰 카메라 자가운동 조건에서도 왜곡이 없는 고화질 이미지를 새로운 시점에서 생성한다. KITTI 데이터셋에서 정성적 및 정량적 평가 모두에서 베이스라인 방법을 능가한다.

ABSTRACT

Novel view synthesis aims to synthesize new images from different viewpoints of given images. Most of previous works focus on generating novel views of certain objects with a fixed background. However, for some applications, such as virtual reality or robotic manipulations, large changes in background may occur due to the egomotion of the camera. Generated images of a large-scale environment from novel views may be distorted if the structure of the environment is not considered. In this work, we propose a novel fully convolutional network, that can take advantage of the structural information explicitly by incorporating the inverse depth features. The inverse depth features are obtained from CNNs trained with sparse labeled depth values. This framework can easily fuse multiple images from different viewpoints. To fill the missing textures in the generated image, adversarial loss is applied, which can also improve the overall image quality. Our method is evaluated on the KITTI dataset. The results show that our method can generate novel views of large-scale scene without distortion. The effectiveness of our approach is demonstrated through qualitative and quantitative evaluation.

연구 동기 및 목표

• 카메라 자가운동으로 인해 배경 구조가 크게 변화하는 대규모 실외 환경에서 고화질의 새로운 시점 이미지를 생성하는 데 도전하는 것.
• 기존 기하 기반 및 학습 기반 방법의 한계를 극복하여 밀도 높은 3D 재구성 필요 없이 다양한 시점 간의 구조 일관성을 모델링하는 것.
• 표준 L2 손실 대신 적대적 훈련을 도입하여 합성된 시점의 이미지 품질을 향상시키고 뿌연 현상을 줄이는 것.
• 다양한 시점에서의 다중 입력 이미지를 융합하여 구조 일관성과 세부 정보 복구를 향상시키는 것.
• 임의의 입력 이미지 크기를 지원하고 기하학적 감독을 통한 엔드 투 엔드 훈련을 가능하게 하는 완전 컨볼루션 네트워크 개발

제안 방법

• 프레임워크는 단일 입력 이미지와 해당 카메라 포즈를 입력으로 사용하는 완전 컨볼루션 네트워크를 사용하며, 희소 레이블링된 깊이 값에 대해 훈련된 CNN에서 추출한 역깊이 특징을 통해 기하학적 구조를 인코딩한다.
• 네트워크는 카메라 변환과 역깊이를 기반으로 특징을 왜곡하기 위해 이중선형 샘플링을 사용하여 새로운 시점에서의 기울기 가능한 이미지 생성을 가능하게 한다.
• 생성적 적대적 네트워크(GAN)는 주로 인식 품질 향상과 뿌연 현상 감소를 위해 손실 함수로 사용되며, 자세 일관성을 유지하기 위해 디스커미네이터에 보조 변환 제약 조건을 추가한다.
• 다중 이미지 입력의 경우, 여러 시점의 특징 맵을 조합하기 위해 최대 선택 레이어를 적용한 후, 아티팩트 감소와 세부 정보 정확도 향상을 위한 융합 컨볼루션 레이어를 적용한다.
• 전체 네트워크는 적대적 손실(변환 제약 조건 포함)과 픽셀 수준 재구성에 대한 L1 손실을 조합한 손실을 사용하여 엔드 투 엔드로 훈련된다.
• 명시적 3D 재구성 없이 기하 정보를 직접 특징 맵에 통합함으로써 효율적이고 확장 가능한 추론이 가능해진다.

실험 결과

연구 질문

• RQ1 표준 L1 또는 L2 손실 대비 적대적 훈련이 대규모 환경에서 합성된 새로운 시점 이미지의 인식 품질을 어떻게 향상시키는가?
• RQ2 희소 깊이 감독에서 유도된 역깊이 특징이 명시적 3D 재구성 없이도 시점 합성에 있어 기하학적 구조를 얼마나 효과적으로 인코딩하는가?
• RQ3 다중 시점 융합이 복잡한 실외 환경에서 합성된 이미지의 정확성과 세부 정보에 얼마나 기여하는가?
• RQ4 프레임워크는 임의의 입력 이미지 크기에 일반화되어 재학습 없이 성능을 유지할 수 있는가?
• RQ5 GAN 디스커미네이터에 변환 제약 조건을 통합함으로써 자세 일관성과 구조 정확도 향상이 얼마나 향상되는가?

주요 결과

• 제안된 방법은 KITTI 데이터셋에서 두 개의 입력 이미지를 사용할 때 L1 오차 0.2318을 기록하여 외관 흐름 베이스라인(0.2698)을 능가하여 더 높은 구조 일관성을 확보했다.
• 융합 기반으로 제안된 방법의 인ception 스코어(3.0945 ± 0.1060)는 베이스라인 외관 흐름(3.0959 ± 0.0788)과 유사하여 강력한 이미지 다양성과 품질을 나타냈다.
• 정성적 결과에서는 큰 카메라 자가운동 조건에서도 장면의 구조를 유지하고 왜곡을 방지하는 것으로 나타났으며, 베이스라인 방법은 아티팩트를 유발하는 것으로 확인되었다.
• 적대적 손실의 사용은 이미지의 선명도와 질감의 현실감을 크게 향상시켜 L2 손실 기반 방법에서 흔히 발생하는 뿌연 현상을 감소시켰다.
• 최대 선택 이후의 융합 레이어는 이중 에지와 노이즈를 감소시켜 다중 시점 합성에서의 시각적 일관성과 세부 정보 복구를 향상시켰다.
• 프레임워크는 임의의 크기의 입력에서 고화질 이미지를 성공적으로 생성했으며, 중간 단계의 3D 재구성 없이 엔드 투 엔드 훈련을 지원했다.