[논문 리뷰] Dual Pixel Exploration: Simultaneous Depth Estimation and Image Restoration

Liyuan Pan, S. A. H. Chowdhury외 4명|arXiv (Cornell University)|2020. 12. 01.

Image Processing Techniques and Applications참고 문헌 38인용 수 4

한 줄 요약

이 논문은 이중 픽셀(DP) 센서의 물리적 영상 촬영 과정을 모델링하여 이중 픽셀(DP) 이미지 쌍으로부터 역 깊이 맵과 선명한 이미지를 동시에 추정하는 엔드 투 엔드 딥 러닝 프레임워크인 DDDNet을 제안한다. 물리적 DP 모델에서 유도된 재블러브 손실을 도입하여 깊이 추정을 정규화함으로써, 깊이 추정 및 복원 성능이 향상되었으며, 합성 및 실재 데이터셋에서 상태 기준 성능을 확보하였다.

ABSTRACT

The dual-pixel (DP) hardware works by splitting each pixel in half and creating an image pair in a single snapshot. Several works estimate depth/inverse depth by treating the DP pair as a stereo pair. However, dual-pixel disparity only occurs in image regions with the defocus blur. The heavy defocus blur in DP pairs affects the performance of matching-based depth estimation approaches. Instead of removing the blur effect blindly, we study the formation of the DP pair which links the blur and the depth information. In this paper, we propose a mathematical DP model which can benefit depth estimation by the blur. These explorations motivate us to propose an end-to-end DDDNet (DP-based Depth and Deblur Network) to jointly estimate the depth and restore the image. Moreover, we define a reblur loss, which reflects the relationship of the DP image formation process with depth information, to regularise our depth estimate in training. To meet the requirement of a large amount of data for learning, we propose the first DP image simulator which allows us to create datasets with DP pairs from any existing RGBD dataset. As a side contribution, we collect a real dataset for further research. Extensive experimental evaluation on both synthetic and real datasets shows that our approach achieves competitive performance compared to state-of-the-art approaches.

연구 동기 및 목표

• 이중 픽셀(DP) 이미지 쌍에서 낮은 기준거리와 심한 초점 왜곡 블러로 인해 스테레오 매칭 및 깊이 추정 성능이 떨어지는 문제를 해결하기 위해.
• 블러를 노이즈로 간주하는 대신, DP 센서의 초점 왜곡 블러, 깊이, 영상 형성 간의 내재된 관계를 활용하기 위해.
• 단일 DP 스냅샷으로부터 역 깊이와 선명한 이미지를 동시에 추정하는 엔드 투 엔드 딥 네트워크를 개발하기 위해.
• 모든 RGB-D 데이터셋으로부터 깊이에 따라 달라지는 블러와 서브아퍼처 샘플링을 적용하여 실재적인 DP 쌍을 생성할 수 있는 기울기 가능 DP 영상 시뮬레이터를 개발하기 위해.
• 향후 깊이 추정 및 이미지 복원 연구를 지원하기 위해 실세계 DP 데이터셋을 수집하기 위해.

제안 방법

• 이중 픽셀 센서의 영상 촬영 과정을 통해 깊이, 초점 왜곡 블러, 그리고 올-인-포커스 이미지 간의 명시적 연결을 수립하는 수학적 DP 모델을 제안한다.
• DP 이미지 쌍을 입력으로 받아 엔드 투 엔드 방식으로 복원된 이미지와 역 깊이 맵을 출력하는 공동 인코더-디코더 네트워크인 DDDNet을 설계한다.
• DP 모델에 기반한 재블러브 손실을 도입하여, 추정된 깊이와 복원된 이미지로부터 입력 DP 이미지를 재구성함으로써 훈련 중 깊이 예측을 정규화한다.
• 깊이에 따라 달라지는 블러와 서브아퍼처 샘플링을 적용하여 기존의 모든 RGB-D 데이터셋으로부터 합성된 DP 쌍을 생성할 수 있는 기울기 가능 DP 영상 시뮬레이터를 개발한다.
• 시뮬레이터에서 생성한 합성 데이터로 DDDNet을 훈련하고, 실재 데이터로 미세조정함으로써 재블러브 손실을 활용한 자기지도 학습 방식을 적용한다.
• 재블러브 손실을 자기지도 신호로 활용하여 지도 없는 도메인 일반화 및 지도 없는 미세조정이 가능하게 하였다.

실험 결과

연구 질문

• RQ1 이중 픽셀 센서의 물리적 영상 촬영 모델을 활용하여 깊이 추정 및 이미지 복원을 동시에 향상시킬 수 있는가?
• RQ2 DP 쌍의 초점 왜곡 블러를 노이즈가 아닌 신호로 활용할 수 있는가?
• RQ3 기울기 가능 DP 영상 시뮬레이터가 실재 시나리오로의 일반화를 가능하게 하는 실재적인 훈련 데이터를 생성할 수 있는가?
• RQ4 DP 모델에 기반한 재블러브 손실을 통합함으로써 더 정확한 깊이 및 복원 예측이 가능해지는가?
• RQ5 제안된 방법은 미세조정 없이도 실재 데이터셋으로 일반화 가능한가? 그리고 재블러브 손실을 활용한 자기지도 미세조정은 얼마나 효과적인가?

주요 결과

• 합성 DPD-blur 데이터셋에서, 재블러브 손실을 적용한 DDDNet은 미세조정 후 PSNR 26.92 dB, SSIM 0.864, RMSE_rel 4.51%를 기록하여 동일한 데이터로 직접 훈련된 모델보다 우수한 성능을 보였다.
• 재블러브 손실을 적용한 DeblurNet에서는 RMSE_rel이 0.091에서 0.083으로 감소하여 약 10% 상대적인 복원 성능 향상을 보였다.
• 합성 DP 시뮬레이터에서 훈련한 모델은 실재 데이터로 잘 일반화된다: DPD-blur 데이터셋의 절반만으로 미세조정한 후 20 에포크 만에 PSNR 26.52 dB, SSIM 0.822를 달성하였다.
• DPD-disp 데이터셋에서, 미세조정 없이도 두 번째로 뛰어난 성능을 기록하였고, 재블러브 손실을 활용한 자기지도 미세조정을 통해 몇몇 최신 기술보다도 뛰어난 성능을 확보하였다.
• 그림 8의 정성적 결과는 DPDNet, BTS, DPdisp 등의 베이스라인과 비교해 DDDNet이 더 선명한 복원 이미지와 더 정확한 역 깊이 맵을 생성하는 것으로 확인되었다.
• 그림 8의 (m)과 (n)에서의 오차 분포는 DDDNet의 역 깊이 예측 값이 경쟁 기술들보다 항상 진짜 값에 더 가까운 것으로 확인되었다.