[논문 리뷰] Learning to Synthesize a 4D RGBD Light Field from a Single Image

Pratul P. Srinivasan, Tongzhou Wang외 3명|arXiv (Cornell University)|2017. 08. 10.

Advanced Vision and Imaging참고 문헌 26인용 수 15

한 줄 요약

이 논문은 단일 2D RGB 이미지에서 레이 깊이를 예측하고 렌더링한 라운드형 라이트 필드를 생성한 후, 음영과 비라운드형 효과를 보정하여 4D RGBD 라이트 필드를 합성하는 딥러닝 프레임워크를 제안한다. 주요 기여는 동일한 3D 시점에 교차하는 레이들 간의 물리적 일관성을 강제하는 새로운 깊이 일관성 정규화로, 이는 지도 학습 없이도 단일 이미지 깊이 추정 성능을 향상시키며, 꽃 이미지에서 최고 성능을 기록하고 일반화하여 장玩 및 스마트폰 이미지까지 적용 가능하다.

ABSTRACT

We present a machine learning algorithm that takes as input a 2D RGB image and synthesizes a 4D RGBD light field (color and depth of the scene in each ray direction). For training, we introduce the largest public light field dataset, consisting of over 3300 plenoptic camera light fields of scenes containing flowers and plants. Our synthesis pipeline consists of a convolutional neural network (CNN) that estimates scene geometry, a stage that renders a Lambertian light field using that geometry, and a second CNN that predicts occluded rays and non-Lambertian effects. Our algorithm builds on recent view synthesis methods, but is unique in predicting RGBD for each light field ray and improving unsupervised single image depth estimation by enforcing consistency of ray depths that should intersect the same scene point. Please see our supplementary video at https://youtu.be/yLCvWoQLnms

연구 동기 및 목표

• 일상적인 사진 촬영에서 합성 초점 조절과 조리개 제어를 가능하게 하기 위해 단일 사진을 고밀도 4D 라이트 필드로 확장하는 국소적 라이트 필드 합성 기능을 제공한다.
• 동일한 3D 시점에 교차하는 레이들 간의 물리적 일관성을 강제하여 지도 학습 없이도 단일 이미지 깊이 추정 성능을 향상시킨다.
• 딥러닝 기반으로 단일 입력 이미지에서 복잡한 음영과 깊이 변화를 가진 고품질의 라이트 필드를 합성할 수 있음을 입증한다.
• 학습 및 벤치마킹을 위해 사용할 수 있도록 플레노픽 카메라로 촬영한 꽃과 식물의 3,343개 영상으로 구성된 가장 큰 공개 라이트 필드 데이터셋을 구축하고 공개한다.
• 기존 학습 도메인을 넘어서 장난감과 소비자 스마트폰 이미지 등 다양한 시나리오 카테고리로의 일반화 능력을 탐색한다.

제안 방법

• 이 방법은 이중 단계 CNN 파이프라인을 사용한다: 첫 번째로 깊이 추정 네트워크가 4D 라이트 필드 전역의 레이 깊이를 예측하고, 두 번째로 렌더링 단계에서 예측된 기하학적 정보를 사용해 라운드형 근사 라이트 필드를 생성한다.
• 동일한 3D 시점에 교차하는 레이들 간의 일관성을 강제하는 새로운 물리 기반 깊이 정규화 기법을 도입하여, 지도 학습 없이도 깊이 추정 정확도를 향상시킨다.
• 두 번째 CNN은 라운드형 라이트 필드를 보정하여 음영 레이와 비라운드형 효과(예: 잘못된 반사나 그림자)를 예측하고, 초기 렌더링에서 발생하는 아티팩트를 수정한다.
• 전체 네트워크는 라운드형 및 보정된 라이트 필드의 재구성 오차와 깊이 일관성 정규화를 최소화하는 방식으로 엔드 투 엔드로 학습된다.
• 실제 플레노픽 데이터를 활용하기 위해 라이트로 일루미네이션 카메라로 촬영한 새로운 3,343개 영상의 RGBD 라이트 필드 데이터셋을 평가에 사용한다.
• 일관성 테스트로 두 번째 데이터셋(4,281개의 장난감 영상)과 아이폰 5s 이미지에서의 일반화 성능을 평가하여 입력 품질과 시나리오 다양성에 대한 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 단일 2D RGB 이미지에서 복잡한 음영과 깊이 변화를 포함한 고정밀도 4D RGBD 라이트 필드를 합성할 수 있는가?
• RQ2 동일한 3D 시점에 교차하는 레이들 간의 깊이 일관성 강제 조건이 기존 비학습 기반 방법보다 지도 학습 없이도 단일 이미지 깊이 추정 성능을 향상시키는가?
• RQ3 꽃과 식물 영상에서 학습된 모델이 장난감이나 스마트폰 촬영 이미지 등 다른 시나리오 카테고리로 얼마나 잘 일반화되는가?
• RQ4 합성된 라이트 필드가 저기준 입력 뷰에서도 실제적인 초점 외부 블러 및 재초점 조절과 같은 사진 효과를 가능하게 하는가?
• RQ5 지면 기하학 정보 없이도 대규모 실세계 라이트 필드 데이터셋만으로 고품질 라이트 필드 합성 모델을 학습하는 것이 가능한가?

주요 결과

• 시험 세트의 외곽 뷰에서 평균 L1 오차가 0.0176을 기록하여, 입력으로 사용되지 않은 일부 뷰에서 아웃퍼포먼스 플로우 방법(0.0145)을 능가한다.
• 전체 라이트 필드를 사용하는 최첨단 비학습 기반 방법과 비교해 깊이 예측 성능이 유사하거나 뛰어나, 깊이 일관성 정규화의 효과를 입증한다.
• 스마트폰 이미지(예: 아이폰 5s)에 대해 잘 일반화되어 있으며, 현실적인 레이 깊이와 시각적으로 설득력 있는 음영 및 깊이 범위를 가진 라이트 필드를 생성한다.
• 합성된 라이트 필드를 통해 고품질 사진 효과를 구현할 수 있으며, 조리개를 f/28에서 f/3.5로 확장해 합성된 초점 외부 블러 및 꽃에서 배경으로의 재초점을 가능하게 한다.
• 4,281개의 장난감 영상 데이터셋으로도 일반화 성능이 얻어졌으며, 평균 L1 오차가 0.027로 꽃 데이터셋(0.026)과 유사하지만, 시나리오 다양성으로 인해 시각적 품질은 略로 감소했다.
• 추론 속도가 빠르며, 단일 타이탄 X GPU에서 187×270×8×8 라이트 필드와 레이 깊이를 1초 이내에 합성할 수 있다.