[논문 리뷰] Deformable spatial propagation network for depth completion

Zheyuan Xu, Hongche Yin외 1명|arXiv (Cornell University)|2020. 07. 08.

Advanced Vision and Imaging참고 문헌 20인용 수 10

한 줄 요약

이 논문은 가변적 수신장과 유사도 기반 유사도 행렬을 학습 가능한 오프셋을 통해 학습함으로써 더 효과적이고 효율적인 희박한 깊이 맵 보정을 가능하게 하는 변형 가능한 공간 전파 네트워크(Deformable Spatial Propagation Network, DSPN)를 제안한다. 더 적은 반복 횟수로도 수행된다. KITTI 벤치마크에서 DSPN은 RMSE 766.74와 iMAE 1.03을 기록하여 CSPN을 포함한 이전 방법들을 능가하는 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

Depth completion has attracted extensive attention recently due to the development of autonomous driving, which aims to recover dense depth map from sparse depth measurements. Convolutional spatial propagation network (CSPN) is one of the state-of-the-art methods in this task, which adopt a linear propagation model to refine coarse depth maps with local context. However, the propagation of each pixel occurs in a fixed receptive field. This may not be the optimal for refinement since different pixel needs different local context. To tackle this issue, in this paper, we propose a deformable spatial propagation network (DSPN) to adaptively generates different receptive field and affinity matrix for each pixel. It allows the network obtain information with much fewer but more relevant pixels for propagation. Experimental results on KITTI depth completion benchmark demonstrate that our proposed method achieves the state-of-the-art performance.

연구 동기 및 목표

• 기존의 깊이 보완 방법(예: CSPN)에서 고정된 수신장을 가지는 한계를 해결하기 위해, 보정 과정에서 관련이 없는 맥락을 포함할 수 있음을 고려한다.
• 데이터 기반 방식으로 픽셀별로 특화된 가변적 수신장과 유사도 행렬을 학습하여 깊이 맵 보정을 향상시킨다.
• 더 큰 수신장과 많은 전파 반복 횟수에 대한 의존도를 줄이기 위해 더 관련성이 높고 국소화된 정보 흐름을 가능하게 한다.
• 희박한 깊이 입력에 대해 학습된 신뢰도 브랜치를 통해 레이저 레인지 센서의 노이즈를 완화한다.
• KITTI 깊이 보완 벤치마크에서 더 나은 세부 사항 복구와 오차 감소를 통해 최신 기술 성능을 달성한다.

제안 방법

• 각 픽셀의 수신장에 대한 오프셋을 종단 간 예측함으로써 비균일하고 가변적인 공간 샘플링을 가능하게 하는 변형 가능한 공간 전파 메커니즘을 도입한다.
• 특징 유사도 기반으로 픽셀별로 특화된 유사도 행렬을 학습하며, CSPN의 고정 컨볼루션 커널을 대체하는 학습 가능한 동적 어텐션 유사 메커니즘을 사용한다.
• 공유 인코더에서 얻은 특징에 조건을 받는 두 개의 브랜치로 구성된 보정 네트워크를 사용한다: 하나는 오프셋을 예측하고, 다른 하나는 가변적 유사도 가중치를 계산한다.
• 희박한 깊이 측정값에 대한 신뢰도 마스크를 예측하는 데 사용되는 신뢰도 브랜치를 사용하며, 이는 보정 과정에서 참값을 유지하는 데 활용된다.
• 학습된 오프셋과 유사도 가중치에 기반해 선택된 픽셀의 특징을 조합하는 가분성 있는 전파 레이어를 사용하여 반복적 보정을 수행한다.
• 희박한 깊이와 RGB 이미지를 입력으로 받아 더 정확하고 세밀한 깊이 맵을 생성하는 종단 간 프레임워크에 DSPN을 통합한다.

실험 결과

연구 질문

• RQ1 공간 전파에서 고정 크기의 이웃 영역 대비 가변적이고 변형 가능한 수신장이 깊이 보완 성능을 향상시킬 수 있는가?
• RQ2 특징 유사도 기반으로 학습된 동적 유사도 행렬이 더 효과적이고 효율적인 깊이 보정을 이끌 수 있는가?
• RQ3 희박한 깊이 측정값을 위한 신뢰도 브랜치가 센서 노이즈의 영향을 줄이고 강건성을 향상시킬 수 있는가?
• RQ4 CSPN과 비교해 제안된 방법이 반복 횟수와 수신장 크기에 얼마나 민감한가?
• RQ5 제안된 DSPN이 KITTI 깊이 보완 벤치마크에서 최신 기술 성능을 달성하는가?

주요 결과

• 제안된 DSPN은 KITTI 벤치마크에서 테스트 세트 RMSE 766.74와 iMAE 1.03을 기록하여 비교된 방법들 중 RMSE와 iMAE에서 모두 1위를 차지한다.
• CSPN 대비 유의미한 성능 향상을 보이며, RMSE를 814.71(CSPN)에서 766.74로 감소시켜 상대적 개선률 4.7%를 기록한다.
• 신뢰도 브랜치를 제거할 경우 RMSE가 5.18 포인트 향상됨으로써, 노이즈가 많은 레이저 레인지 측정값을 완화하는 데 효과적임을 입증한다.
• DSPN은 더 적은 반복 횟수(예: 12회)와 더 작은 수신장(3×3)으로도 뛰어난 성능을 달성하여 CSPN 대비 하이퍼파rameter에 덜 민감함을 보였다.
• 시각적 비교 결과, DSPN은 더 세밀한 세부 사항을 복구하고 특히 물체 경계 부근에서 오차를 줄이는 데 성공했다.
• 제거 실험 결과, DSPN이 반복 횟수와 수신장 크기에 덜 민감하며, 더 큰 강건성과 효율성을 보임을 확인했다.