[논문 리뷰] ATGV-Net: Accurate Depth Super-Resolution

Gernot Riegler, Matthias Rüther외 1명|arXiv (Cornell University)|2016. 07. 27.

Advanced Vision and Imaging인용 수 25

한 줄 요약

ATGV-Net는 단일 깊이 맵 초해상도 분석을 위한 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 이는 비정규화된 총 일반화 변형(ATGV) 정규화와 함께 컨볼루션 신경망을 결합한 것으로, 변분 모델의 원시-쌍대 최적화를 풀어내고 유사한 데이터로만 훈련함으로써 다양한 벤치마크, 특히 도전적인 ToF 데이터셋에서 최신 기술 수준의 성능을 달성한다. 이는 지도용 강도 이미지가 필요하지 않다.

ABSTRACT

In this work we present a novel approach for single depth map super-resolution. Modern consumer depth sensors, especially Time-of-Flight sensors, produce dense depth measurements, but are affected by noise and have a low lateral resolution. We propose a method that combines the benefits of recent advances in machine learning based single image super-resolution, i.e. deep convolutional networks, with a variational method to recover accurate high-resolution depth maps. In particular, we integrate a variational method that models the piecewise affine structures apparent in depth data via an anisotropic total generalized variation regularization term on top of a deep network. We call our method ATGV-Net and train it end-to-end by unrolling the optimization procedure of the variational method. To train deep networks, a large corpus of training data with accurate ground-truth is required. We demonstrate that it is feasible to train our method solely on synthetic data that we generate in large quantities for this task. Our evaluations show that we achieve state-of-the-art results on three different benchmarks, as well as on a challenging Time-of-Flight dataset, all without utilizing an additional intensity image as guidance.

연구 동기 및 목표

• 소비자 센서, 예를 들어 시간 간격 측정(ToF) 장치에서 유도되는 저해상도이자 노이즈가 많은 깊이 맵의 한계를 해결하기 위해.
• 보조 강도 이미지를 지도로 사용하지 않는 단일 이미지 기반 깊이 초해상도 분석 방법을 개발하기 위해.
• 정확한 고해상도 깊이 추정을 위해 강력한 변분 모델과 딥 러닝을 통합하기 위해.
• 실제 세계의 지도 데이터가 없이도 합성 훈련 데이터만으로도 고성능의 깊이 초해상도 분석을 달성할 수 있는지 입증하기 위해.
• 딥 네트워크와 변분 최적화 모델을 함께 훈련할 수 있는 엔드 투 엔드 훈련을 가능하게 하기 위해.

제안 방법

• 딥 컨볼루션 네트워크는 고해상도 깊이 맵과 출력 공간 내 깊이 불연속성의 위치를 모두 예측한다.
• 네트워크의 출력은 비변분 모델에 입력으로 사용되며, 공간적으로 적응형 가중치를 적용한 이방향 총 일반화 변형(ATGV) 정규화를 적용한다.
• ATGV를 위한 원시-쌍대 알고리즘의 최적화 단계는 미분 가능한 레이어로 풀어내어 전체 모델의 엔드 투 엔드 훈련을 가능하게 한다.
• 이 방법은 고해상도 합성 깊이 데이터만으로 훈련되며, 실제 센서의 동작을 시뮬레이션하기 위해 현실적인 노이즈와 해상도 저하가 적용된다.
• 저해상도 훈련 입력은 고해상도 합성 깊이 맵을 다운스케일링하고, 깊이에 따라 달라지는 노이즈를 추가하며, 값이 누락된 부분을 보간함으로써 생성된다.
• 최종 모델은 풀어낸 최적화 단계를 통해 역전파를 통해 최적화되어, 네트워크 가중치와 정규화 매개변수를 함께 학습할 수 있다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크와 변분 모델을 조합한 방법이 기존 방법보다 뛰어난 깊이 초해상도 분석 성능을 달성할 수 있는가?
• RQ2 실제 세계의 지도 데이터가 없이도 합성 데이터만으로 고성능의 깊이 초해상도 분석 모델을 훈련시키는 것이 가능한가?
• RQ3 딥 네트워크와 풀어낸 변분 최적화 모델을 함께 엔드 투 엔드로 훈련하면, 노이즈가 많고 해상도가 낮은 깊이 맵에서 정확도가 향상되는가?
• RQ4 불연속성 인식 기능이 내장된 ATGV 정규화의 통합이 가장자리 보존과 균일한 영역 내 노이즈 감소에 기여하는가?
• RQ5 강도 이미지 지도 없이도 제안된 방법이 실제 세계의 ToF 데이터셋에서 어떻게 성능을 내는가?

주요 결과

• ATGV-Net는 Middlebury 데이터셋을 포함한 세 가지 표준 벤치마크에서 최신 기술 수준의 성능을 달성했으며, ToFMark 데이터셋에서 평균 절대 오차(MAE)가 28.51 mm를 기록했다.
• ToFMark 데이터셋에서 ATGV-Net는 28.51 mm의 RMSE를 기록했으며, 강도 이미지를 사용하지 않음에도 불구하고 두 번째로 우수한 성능을 보인 Ferstl 등의 방법(29.89 mm)을 능가했다.
• 절단 실험 결과, 전체 ATGV-Net 모델의 엔드 투 엔드 훈련은 CNN 전용 베이스라인 대비 유의미한 성능 향상을 보였으며, Moebius 이미지에서 MAE가 1.37 mm 감소했다.
• 정성적 비교에서 이전 방법들보다 더 나은 세부 구조와 깊이 불연속성 보존이 이루어졌고, 균일한 영역 내 노이즈가 감소했다.
• 합성 데이터만으로 훈련된 모델가 실제 세계의 ToF 데이터에 효과적으로 일반화되었으며, 합성 데이터가 실제 센서 응용에 적합함을 입증했다.
• 딥 러닝과 ATGV 정규화의 통합은 단지 딥 러닝이나 전통적인 변분 모델에 의존하는 방법보다 더 선명한 가장자리와 더 적은 아티팩트를 만들어 냈다.