[논문 리뷰] A Deep Primal-Dual Network for Guided Depth Super-Resolution

Gernot Riegler, David Ferstl외 2명|arXiv (Cornell University)|2016. 07. 28.

Advanced Vision and Imaging참고 문헌 31인용 수 11

한 줄 요약

이 논문은 깊이 초해상도를 수행하기 위해 고해상도 강도 영상(이미지)을 가이던스로 사용하는 딥 프리미벌-듀얼 네트워크를 제안한다. 일阶 최적화 알고리즘을 학습 가능한 신경망으로 전개함으로써, 컨volutional 필터, 변분 모델 파라미터, 알고리즘 하이퍼파ram터를 함께 최적화하며, 물리적으로 렲된 학습 데이터를 사용하여 합성 및 실세계 벤치마크에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

In this paper we present a novel method to increase the spatial resolution of depth images. We combine a deep fully convolutional network with a non-local variational method in a deep primal-dual network. The joint network computes a noise-free, high-resolution estimate from a noisy, low-resolution input depth map. Additionally, a high-resolution intensity image is used to guide the reconstruction in the network. By unrolling the optimization steps of a first-order primal-dual algorithm and formulating it as a network, we can train our joint method end-to-end. This not only enables us to learn the weights of the fully convolutional network, but also to optimize all parameters of the variational method and its optimization procedure. The training of such a deep network requires a large dataset for supervision. Therefore, we generate high-quality depth maps and corresponding color images with a physically based renderer. In an exhaustive evaluation we show that our method outperforms the state-of-the-art on multiple benchmarks.

연구 동기 및 목표

• ToF 및 구조광원 카메라와 같은 소비자용 깊이 센서에서 낮은 공간 해상도와 높은 노이즈를 가지는 깊이 맵의 문제를 해결하기 위해.
• 강도-깊이 상관관계를 활용하여 고해상도 강도 영상을 공간적 가이던스로 활용하여 깊이 초해상도를 향상시키기 위해.
• 딥 러닝을 위한 깊이 초해상도 분야에서 대규모 고품질 학습 데이터의 부족 문제를 해결하기 위해.
• 비국소 변분 모델을 언롤드된 프리미벌-듀얼 최적화를 통해 딥 러닝 프레임워크에 통합하여 공동 엔드 투 엔드 훈련을 가능하게 하기 위해.
• 물리 기반 렌더러를 사용하여 현실적인 고품질 학습 데이터를 생성함으로써 효과적인 모델 훈련을 가능하게 하기 위해.

제안 방법

• 완전 컨volution 네트워크(FCN)가 저해상도 노이즈가 많은 깊이 맵과 고해상도 강도 영상을 처리하여 초기 고해상도 깊이 추정치와 가중치 계수를 생성한다.
• FCN의 출력은 비국소 총변위 최소화를 위한 일阶 프리미벌-듀얼 알고리즘의 반복 단계를 언롤드한 프리미벌-듀얼 네트워크로 입력된다.
• 프리미벌-듀얼 알고리즘의 각 최적화 단계는 학습 가능한 레이어로 구현되어 전체 네트워크를 통해 엔드 투 엔드 백프로파게이션을 가능하게 한다.
• 이 방법은 FCN의 컨볼루션 필터, 변분 비용 함수의 정규화 파라미터, 프리미벌-듀얼 알고리즘의 스텝 사이즈 및 파라미터를 함께 학습한다.
• 고품질 학습 데이터는 Mitsuba 렌더러를 사용하여 생성되며, 깊이에 따라 변하는 노이즈를 가진 현실적인 깊이 맵과 해당 강도 영상을 시뮬레이션한다.
• 훈련 과정은 예측된 고해상도 깊이 맵과 진짜 값 간의 L2 오차를 기반으로 하는 손실 함수를 사용한다.

실험 결과

연구 질문

• RQ1 비변분 최적화 알고리즘을 언롤드한 딥 프리미벌-듀얼 네트워크가 기존 방법보다 더 나은 깊이 초해상도 성능을 달성할 수 있는가?
• RQ2 학습된 변분 파라미터와 컨볼루션 필터를 함께 가진 공동 네트워크의 엔드 투 엔드 훈련이 깊이 초해상도 성능 향상에 기여하는가?
• RQ3 물리 기반 합성 데이터가 깊이 초해상도 모델 훈련을 위해 실세계 데이터를 효과적으로 대체할 수 있는가?
• RQ4 고해상도 강도 영상을 가이던스로 포함할 경우, 높은 업샘플링 인자에서 성능에 어떤 영향을 미치는가?
• RQ5 비국소 정규화가 초해상도 깊이 맵에서 가장자리 유지 및 세부 사항 복구에 얼마나 기여하는가?

주요 결과

• ToFMark 벤치마크에서 제안된 방법은 루트 평균 제곱 오차(RMSE) 23.74 mm를 달성하였으며, Ferstl 등(2013)의 두 번째로 좋은 방법(24.00 mm)을 뛰어넘었다.
• 업샘플링 인자 ×8 및 ×16에서 가이던스 영상의 추가로 성능 향상이 뚜렷하게 나타났으며, 전체 모델(FCN-PDN)이 FCN 전용 베이스라인을 능가했다.
• 합성 벤치마크에서 깊이 및 가이던스 입력을 모두 사용해 훈련한 경우, RMSE는 28.81 mm를 기록하였고, 이는 양선형 보간법 대비 30.46 mm보다 우수하다.
• 품질 비교를 통해 전통적인 변분 및 보간 방법에 비해 아티팩트를 크게 줄이고 깊이 불연속성을 더 잘 유지하는 것으로 확인되었다.
• 제거 분석 결과, FCN와 프리미벌-듀얼 네트워크의 공동 훈련이 FCN 단독 훈련 또는 NLH-ℓ2 후처리를 적용한 경우보다 열등한 결과를 내는 것을 확인했다.
• 물리적으로 렌더링된 학습 데이터의 사용은 모델이 실세계 ToF 데이터에 잘 일반화됨을 보여주었으며, 이 분야에서 합성 데이터의 효과성을 입증했다.