[논문 리뷰] Dense Depth Posterior (DDP) from Single Image and Sparse Range

Yanchao Yang, Alex Wong외 1명|arXiv (Cornell University)|2019. 01. 28.

Advanced Vision and Imaging참고 문헌 40인용 수 11

한 줄 요약

이 논문은 단일 RGB 이미지와 흩어진 라이다 포인트 클라우드로부터 풀 포스트리어어 분포를 추정하는 딥러닝 프레임워크인 DDP(Dense Depth Posterior)를 제안한다. 조건부 사전 네트워크(CPN)와 흩어진 측정값의 우도 모델링을 결합함으로써, KITTI 및 NYUv2 벤치마크에서 지도학습 및 비지도학습 깊이 보완에서 최신 기술 수준(SOTA) 성능을 달성하며, 특히 흩어진 깊이 밀도가 낮을 경우 정확도와 내성에 뛰어난 성능을 보인다.

ABSTRACT

We present a deep learning system to infer the posterior distribution of a dense depth map associated with an image, by exploiting sparse range measurements, for instance from a lidar. While the lidar may provide a depth value for a small percentage of the pixels, we exploit regularities reflected in the training set to complete the map so as to have a probability over depth for each pixel in the image. We exploit a Conditional Prior Network, that allows associating a probability to each depth value given an image, and combine it with a likelihood term that uses the sparse measurements. Optionally we can also exploit the availability of stereo during training, but in any case only require a single image and a sparse point cloud at run-time. We test our approach on both unsupervised and supervised depth completion using the KITTI benchmark, and improve the state-of-the-art in both.

연구 동기 및 목표

• 점 추정에 의존하는 것 대신, 밀도 깊이 맵의 전체 포스트리어어 분포를 추정함으로써 불확실성 인식 가능 깊이 보완을 가능하게 한다.
• 대규모 이미지-깊이 쌍 데이터셋에서 유도된 시나리오 정규성 정보를 사전으로 활용하여 깊이 보완 정확도를 향상시킨다.
• 스테레오 또는 추가 센서를 요구하지 않고, 추론 시에 단일 이미지와 흩어진 깊이 측정값만을 사용하여 강건한 깊이 보완을 가능하게 한다.
• 학습된 사전을 통해 시나리오 구조 및 깊이 불연속성을 모델링하여 기하학적 일致성과 잡음 감소를 달성한다.
• 지도학습 및 비지도학습 깊이 보완 설정 모두에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 방법은 조건부 사전 네트워크(CPN)를 사용하여 조건부 확률 $ P(d|I, \mathcal{D}) $ 를 모델링하며, 여기서 $ d $ 는 밀도 깊이 맵, $ I $ 는 입력 이미지, $ \mathcal{D} $ 는 이미지-깊이 쌍의 학습 데이터셋이다.
• CPN 사전과 우도 항목 $ P(z|d) $ 를 결합하여 전체 포스트리어어 $ P(d|I,z) \propto P(z|d)P_{\mathcal{D}}(d|I) $ 를 계산한다. 이 우도 항목은 가설 깊이 맵 $ d $ 가 주어졌을 때 흩어진 라이다 측정값 $ z $ 를 관측할 확률을 모델링한다.
• 우도 항목은 SSIM 기반의 사진적 일致성과 깊이 일치성을 모두 포함하며, 변환된 이미지 간 정렬과 깊이 불일치를 벌리기 위한 미분 가능 손실 함수를 사용한다.
• 네트워크 아키텍처는 RGB 이미지 처리 브랜치와 흩어진 깊이 맵 처리 브랜치에서 유도된 특징을 후속 레이어에서 융합하여 밀도 깊이 예측을 생성한다.
• 모델은 사진적, 부드러움, 깊이 일치성 항목을 포함한 비지도학습 및 지도학습 손실의 조합을 사용하여 엔드 투 엔드로 훈련된다.
• 방법은 훈련 시 스테레오 데이터를 선택적으로 활용할 수 있지만, 추론 시에는 단일 이미지와 흩어진 깊이 측정값만 필요하므로 실세계 구현에 실용적이다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 단일 이미지와 흩어진 라이다 측정값에서 점 추정 대신 밀도 깊이 맵의 전체 포스트리어어 분포를 추정할 수 있는가?
• RQ2 대규모 이미지-깊이 쌍 데이터셋에서 유도된 시나리오 정규성 정보는 깊이 보완 정확도 향상과 잡음 감소에 어떻게 기여하는가?
• RQ3 제안된 방법은 지도학습 및 비지도학습 깊이 보완 설정 모두에서 기존 최신 기술 수준의 접근법을 얼마나 뛰어나게 하는가?
• RQ4 흩어진 깊이 밀도가 감소함에 따라 성능이 어떻게 저하되는가? 매우 낮은 밀도에서도 모델이 내성성을 유지할 수 있는가?
• RQ5 조건부 사전 네트워크를 사용하면 단순히 이미지 또는 깊이 특징에 의존하는 방법보다 깊이 보완 성능을 크게 향상시킬 수 있는가?

주요 결과

• KITTI 벤치마크에서 DDP는 1.5% 흩어진 깊이 밀도에서 테스트 RMSE 0.521과 AbsRel 0.122를 기록하며, 지도학습 및 비지도학습 설정 모두에서 기존 방법을 능가한다.
• NYUv2 데이터셋에서 모델은 6% 흩어진 깊이 밀도에서 RMSE 1.391과 AbsRel 0.452를 기록하며, 낮은 입력 밀도 조건에서도 뛰어난 성능을 보인다.
• 절단 분석 결과, CPN을 사전으로 사용할 경우 성능 향상이 뚜렷하게 나타나며, 단일 이미지 설정에서 iRMSE가 4.07에서 3.67로 감소하여 기준 방법 [20]을 초월한다.
• 이전 방법에서 흔히 발생하는 'O'자형 구멍 같은 기하학적 잡음은 더 정교한 시나리오 사전을 통해 이미지 구조와 깊이 불연속성을 고려함으로써 감소된다.
• 두 브랜치를 융합하고도 모델은 약 18.8M 파라미터만을 사용하며, 기존 최신 기술 수준 방법 [20]의 약 27.8M 파라미터보다 훨씬 적어 높은 파라미터 효율성을 보인다.
• 매우 낮은 흩어진 깊이 밀도(예: 0.01%)에서도 RMSE 3.829를 기록하며, 흩어진 입력 조건에서도 강건함을 유지함을 보여준다.