[논문 리뷰] Deep Depth From Focus

Caner Hazırbaş|arXiv (Cornell University)|2017. 04. 04.

Image Processing Techniques and Applications참고 문헌 40인용 수 6

한 줄 요약

이 논문은 깊이에서 초점을 얻는(DFF) 데스크탑 기반의 첫 번째 엔드 투 엔드 딥 러닝 방법인 DDFFNet을 제안한다. 이는 라이트필드와 RGB-D 지도를 포함한 새로운 720장의 이미지 데이터셋을 활용한다. 디지털로 생성된 초점 스택과 실제 깊이 맵을 기반으로 훈련함으로써, 전통적인 DFF 방법에 비해 깊이 오차를 75% 이상 감소시키며, GPU에서 0.58초 내로 역량 맵을 예측한다.

ABSTRACT

Depth from focus (DFF) is one of the classical ill-posed inverse problems in computer vision. Most approaches recover the depth at each pixel based on the focal setting which exhibits maximal sharpness. Yet, it is not obvious how to reliably estimate the sharpness level, particularly in low-textured areas. In this paper, we propose `Deep Depth From Focus (DDFF)' as the first end-to-end learning approach to this problem. One of the main challenges we face is the hunger for data of deep neural networks. In order to obtain a significant amount of focal stacks with corresponding groundtruth depth, we propose to leverage a light-field camera with a co-calibrated RGB-D sensor. This allows us to digitally create focal stacks of varying sizes. Compared to existing benchmarks our dataset is 25 times larger, enabling the use of machine learning for this inverse problem. We compare our results with state-of-the-art DFF methods and we also analyze the effect of several key deep architectural components. These experiments show that our proposed method `DDFFNet' achieves state-of-the-art performance in all scenes, reducing depth error by more than 75% compared to the classical DFF methods.

연구 동기 및 목표

• 모든 무늬 영역에서 날카움 기반 깊이 추정이 실패하는 깊이에서 초점을 얻는(DFF) 문제의 불안정성 문제를 해결하기 위해.
• RGB-D 센서를 사용한 실제 지도 깊이를 포함한 대규모 실세계 데이터셋을 구축함으로써, DFF에 대한 딥 러닝의 데이터 부족 문제를 해결하기 위해.
• 전통적인 최적화 및 정규화를 대체하여 초점 스택에서 직접 역량 맵을 예측하는 엔드 투 엔드 딥 신경망을 개발하기 위해.
• 학습된 사전 지식이 복잡한 실세계 환경에서 수작업으로 만든 특징과 변분 방법보다 우수한 성능을 발휘하는지 입증하기 위해.

제안 방법

• 저자들은 라이트필드 카메라인 Lytro ILLUM을 사용하여 12개의 실내 환경에서 720장의 라이트필드 이미지를 촬영하여 다양한 크기의 디지털 초점 스택을 생성할 수 있도록 하였다.
• 정렬된 지도 깊이를 캘리브레이션된 RGB-D 센서를 사용하여 확보하여 정확한 역량 맵을 제공함으로써 감독 학습을 가능하게 하였다.
• L1 및 L2 노름 기반의 손실 함수를 사용하여, 초점 스택에서 역량 맵을 예측하기 위해 엔드 투 엔드로 훈련된 고유한 오토인코더 스타일의 컨volution 신경망인 DDFFNet을 개발하였다.
• 스킵 연결(CC3 버전)과 학습된 업샘플링을 갖춘 디코더를 사용하여 세부 사항과 물체 경계를 유지하였다.
• 새로운 12개 환경 데이터셋에서 방법을 평가하였으며, 스마트폰으로 촬영한 초점 스택을 사용하여 모바일 DFF로 일반화하였다.
• RMSE, MSE 및 나쁜 픽셀 비율과 같은 지표를 사용하여 최신 DFF 방법(VDFF, PSPNet, Lytro)과 라이트필드 기반 깊이 추정 기준선과 DDFFNet을 비교하였다.

실험 결과

연구 질문

• RQ1 기존의 변분 방법에 비해 엔드 투 엔드 딥 러닝이 깊이에서 초점을 얻는 성능을 크게 향상시킬 수 있는가?
• RQ2 RGB-D 센서로부터의 실제 지도 깊이를 포함한 대규모 실세계 데이터셋이 DFF를 위한 딥 네트워크 훈련에 충분한가?
• RQ3 다양한 인코더-디코더 아키텍처와 스킵 연결은 DFF 예측의 정확성과 경계 유지에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 제한된 초점 스택 해상도와 노이즈가 많은 깊이 센서를 갖춘 실세계 스마트폰 카메라로 일반화될 수 있는가?

주요 결과

• DDFFNet은 최신 변분 DFF 방법(VDFF)에 비해 깊이 오차를 75% 이상 감소시켰으며, 12개 환경 데이터셋에서 평균 RMSE가 0.86m를 기록하였다.
• DDFFNet의 CC3 버전은 날카로운 물체 경계를 유지하면서도 가장 낮은 역량 오차를 기록하였으며, 유사한 추론 속도에도 불구하고 PSPNet과 DFLF를 능가하였다.
• DDFFNet은 Titan X GPU에서 0.58초 내로 실행되어 VDFF(2.83초)보다 4배 이상 빠르며, Lytro의 CPU 기반 파이프라인(25.26초)보다도 크게 빠르다.
• 모바일 DFF로의 일반화 성능이 뛰어나, 스마트폰으로 촬영한 초점 스택에서 테스트한 결과 높은 정확도를 유지하였으며, 실세계 노이즈와 제한된 해상도에 대해 강건함을 입증하였다.
• 정성적 결과에서의 실패 케이스는 DDFFNet이 전통적인 방법이 낮은 날카움 변화로 실패하는 평평하고 문양이 없는 표면에서도 Lytro와 VDFF를 능가함을 보여주었다.
• 활성화 히트맵은 네트워크가 깊이 추정을 위해 관련 영역, 특히 경계와 깊이 전환 영역에 집중하고 있음을 확인하였다.