[논문 리뷰] Deep3D: Fully Automatic 2D-to-3D Video Conversion with Deep Convolutional Neural Networks

Junyuan Xie, Ross Girshick외 1명|arXiv (Cornell University)|2016. 04. 13.

Advanced Vision and Imaging참고 문헌 17인용 수 5

한 줄 요약

이 논문은 3D 영화의 스테레오 쌍을 감독으로 사용하여 2D에서 3D로의 비디오 변환을 위한 완전한 엔드 투 엔드 딥 러닝 프레임워크인 Deep3D를 제안한다. 왼쪽-오른쪽 시점 쌍을 직접 사용하여 픽셀 단위 재구성 오차를 최소화하도록 훈련함으로써, 모델은 확률적 디스parity 맵을 예측하고, 미분 가능한 렲링 레이어를 통해 오른쪽 시점을 렲링하며, 지도된 깊이 데이터나 수동 애너테이션 없이도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

As 3D movie viewing becomes mainstream and Virtual Reality (VR) market emerges, the demand for 3D contents is growing rapidly. Producing 3D videos, however, remains challenging. In this paper we propose to use deep neural networks for automatically converting 2D videos and images to stereoscopic 3D format. In contrast to previous automatic 2D-to-3D conversion algorithms, which have separate stages and need ground truth depth map as supervision, our approach is trained end-to-end directly on stereo pairs extracted from 3D movies. This novel training scheme makes it possible to exploit orders of magnitude more data and significantly increases performance. Indeed, Deep3D outperforms baselines in both quantitative and human subject evaluations.

연구 동기 및 목표

• 수동 깊이 애너테이션이나 깊이 센서 데이터가 필요 없이 완전 자동 2D에서 3D로의 비디오 변환 문제를 해결하기 위해.
• 기존 3D 영화에서 유래한 대규모 스테레오 쌍을 엔드 투 엔드로 훈련시켜, 기존 방법보다 수십만 배 이상 많은 데이터를 활용함으로써 성능을 향상시키기 위해.
• 디스패리티 예측과 시점 합성 단계를 하나의 미분 가능한 신경망 내부에 통합함으로써 별도의 깊이 추정 및 렌더링 단계가 필요 없도록 하기 위해.
• 명시적인 후처리 인painting 알고리즘 없이도, 미분 가능한 렌더링 레이어를 통해 음영과 누락된 데이터를 암묵적으로 처리하기 위해.
• 정량적 평가와 인간 대상 실험을 통해 최신 기술 수준의 기준보다 뛰어나며, 지도된 스테레오 쌍과 거의 동일한 성능을 보임을 입증하기 위해.

제안 방법

• 모델은 단일 2D 이미지(왼쪽 시점)를 입력으로 받아 깊이 컨볼루션 신경망을 사용하여 확률적 디스패리티 맵을 예측한다.
• 미분 가능한 깊이 기반 렌더링(DIBR) 레이어는 예측된 디스패리티 맵을 사용하여 입력 이미지에서 오른쪽 시점을 합성한다.
• 예측된 오른쪽 시점과 스테레오 쌍의 지도된 오른쪽 시점 사이의 픽셀 단위 재구성 오차를 최소화하여 네트워크를 엔드 투 엔드로 훈련시킨다.
• 낮은 수준의 특징에서 올라오는 스킵 연결과 특징 전파를 향상시키기 위한 선택 레이어를 아키텍처에 포함한다.
• 시간 정보는 연속된 RGB 프레임 또는 옵티컬 플로우 프레임을 입력으로 확장하여 탐색되었지만, 성능 향상은 미미했다.
• 지속적인 깊이 맵 감독 없이도 스테레오 쌍에 직접 훈련함으로써, 확장 가능한 데이터 활용이 가능하도록 설계되었다.

실험 결과

연구 질문

• RQ1 지도된 깊이 맵이 필요 없이, 스테레오 쌍에서 직접 훈련된 딥 뉴럴 네트워크가 왼쪽 시점에서 오른쪽 시점을 직접 예측할 수 있는가?
• RQ2 3D 영화에서 유래한 대규모 스테레오 데이터에 대해 엔드 투 엔드로 훈련하면, 기존의 이단계 방법보다 더 나은 2D에서 3D로의 변환 성능을 달성할 수 있는가?
• RQ3 명시적인 복구 알고리즘 없이도, 미분 가능한 렌더링 레이어가 음영과 누락된 데이터를 암묵적으로 처리할 수 있는가?
• RQ4 다중 프레임 또는 옵티컬 플로우와 같은 시간 정보의 포함이 합성된 스테레오 시점의 품질에 어떤 영향을 미치는가?
• RQ5 인간의 인지 평가에서 모델의 출력이 지도된 스테레오 쌍과 거의 구분되지 않을 정도로 정교한가?

주요 결과

• Deep3D는 인간 선호도 평가에서 전통적 기준인 Global Disparity 기준보다 49% 높은 성능을 보이며, 눈에 띄는 시각적 향상을 입증했다.
• 인간 평가에서 Deep3D의 결과는 지도된 지도된 스테레오 쌍보다 24.48%의 비율로 선호되었으며, [10] + Oracle의 10.27%와 Global Disparity 기준의 7.88%보다 높았다.
• 테스트 세트에서 평균 절대 오차(MAE)는 6.87을 기록했으며, 아블레이션 스터디 결과에서 낮은 수준의 특징이나 선택 레이어를 제거할 경우 성능 저하가 발생했다.
• 블록 매칭을 통해 먼저 디스패리티를 추정하고 나서 렌더링하는 것보다, 스테레오 쌍에 직접 훈련하는 것이 더 나은 결과를 낸다. 이는 엔드 투 엔드 최적화의 우수성을 입증한다.
• 다섯 개의 연속된 RGB 프레임 또는 옵티컬 플로우 프레임을 사용해 시간 정보를 통합하면 MAE가 6.81과 6.86으로 약간 향상되지만, 성능 향상은 미미했다.
• 모델은 비디오 입력에 국한되지 않고, 정적 이미지에 대해서도 잘 일반화되어 있어, 2D 비디오와 정적 사진 모두에 적용 가능하다.