[논문 리뷰] Deformable kernel networks for guided depth map upsampling

Beom‐Jun Kim, Jean Ponce외 1명|arXiv (Cornell University)|2019. 03. 27.

Advanced Vision and Imaging참고 문헌 27인용 수 12

한 줄 요약

이 논문은 저해상도 깊이 맵과 고해상도 색채 영상에서 유사한 공간적으로 변형 가능한 희소 커널 가중치와 적응형 이웃 샘플링을 학습하여 지도 기반 깊이 맵 업샘플링을 위한 변형 가능 커널 네트워크(DKN)를 제안한다. 이 방법은 NYUv2에서 기존 최고 성능 기준 30–50% 향상된 RMSE 성능을 기록하며, 빠른 변종(FDKN)은 DKN 대비 17배 빠른 속도로 작동하면서도 높은 정확도를 유지하여 새로운 SOTA를 달성한다.

ABSTRACT

We address the problem of upsampling a low-resolution (LR) depth map using a registered high-resolution (HR) color image of the same scene. Previous methods based on convolutional neural networks (CNNs) combine nonlinear activations of spatially-invariant kernels to estimate structural details from LR depth and HR color images, and regress upsampling results directly from the networks. In this paper, we revisit the weighted averaging process that has been widely used to transfer structural details from hand-crafted visual features to LR depth maps. We instead learn explicitly sparse and spatially-variant kernels for this task. To this end, we propose a CNN architecture and its efficient implementation, called the deformable kernel network (DKN), that outputs sparse sets of neighbors and the corresponding weights adaptively for each pixel. We also propose a fast version of DKN (FDKN) that runs about 17 times faster (0.01 seconds for a HR image of size 640 x 480). Experimental results on standard benchmarks demonstrate the effectiveness of our approach. In particular, we show that the weighted averaging process with 3 x 3 kernels (i.e., aggregating 9 samples sparsely chosen) outperforms the state of the art by a significant margin.

연구 동기 및 목표

• 고정되거나 공간적으로 불변하는 커널에 의존하는 것 대신, 공간적으로 변형 가능한 희소 커널 가중치와 이웃 샘플링을 학습하여 깊이 맵 업샘플링을 향상시키는 것.
• 변형 가능한 샘플링 위치와 해당 가중치를 엔드 투 엔드로 학습하여 서브픽셀 수준의 정보 집합을 가능하게 하는 것.
• 원래 DKN 대비 17배 빠른 속도를 확보하면서도 높은 정확도를 유지하는 빠른 추론 변종(FDKN)을 개발하는 것.
• 지침 없이 저해상도 깊이 맵만을 사용하여 학습하더라도 9개의 희소 샘플을 활용해 SOTA 성능을 달성할 수 있음을 보여주는 것.
• 커널 크기, 특징 추출, 깊이 및 색채 입력의 병합 사용이 업샘플링 정확도에 미치는 영향을 조사하는 것.

제안 방법

• DKN 아키텍처는 CNN을 사용하여 각 픽셀에 대해 공간적으로 변형 가능한 이웃 집합과 해당 가중치를 학습함으로써, 비균일한 특징 집합을 위한 적응형 비균일 집합을 가능하게 한다.
• 네트워크는 각 픽셀에 대해 오프셋과 가중치를 예측하여, 정규 격자 외부의 서브픽셀 샘플링과 더 유연한 이웃 선택을 가능하게 한다.
• 가중 평균 공식을 사용한다: $\hat{f}_{\mathbf{p}} = \sum_{\mathbf{q} \in \mathcal{N}(\mathbf{p})} W_{\mathbf{p}\mathbf{q}}(g) f_{\mathbf{q}}$, 여기서 $W_{\mathbf{p}\mathbf{q}}$ 및 $\mathcal{N}(\mathbf{p})$ 는 네트워크에 의해 예측된다.
• 빠른 변종인 FDKN은 $640 \times 480$ 이미지에 대해 추론 시간을 약 17배 감소시키는 경량이고 효율적인 구현 방식을 사용한다.
• 네트워크는 커널 예측을 위한 넓은 수용장역할을 향상시키기 위해, 대규모 수용장역할을 추출하는 데 사용되는 다운-컨볼루션(DownConv) 모듈을 활용한다.
• 입력 모odal리티(색채 대비 깊이만)와 커널 크기의 분석을 통해, 지도 학습 기반 깊이 맵 업샘플링에 대해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 공간적으로 변형 가능한 희소 커널 가중치와 이웃 샘플링을 학습하는 것이 고정 또는 공간적으로 불변하는 커널을 초월하여 깊이 맵 업샘플링 성능을 향상시킬 수 있는가?
• RQ2 고해상도 색채 영상과 저해상도 깊이 영상을 모두 사용하여 공동 학습하면 단일 모달리티를 사용하는 것보다 더 높은 성능을 달성할 수 있는가?
• RQ3 빠르고 효율적인 구현(FDKN)이 상당한 속도 향상과 함께 높은 정확도를 유지할 수 있는가?
• RQ4 이 작업에서 성능과 계산 비용의 균형을 고려할 때 최적의 커널 크기는 무엇인가?
• RQ5 가장자리 지도 없이 저해상도 깊이 맵만을 사용하여 가중 평균 과정을 수행할 경우 SOTA 성능을 달성할 수 있는가?

주요 결과

• DKN 모델은 NYUv2 데이터셋에서 새로운 SOTA를 달성하여 이전 방법 대비 평균 RMSE를 30–50% 감소시켰다.
• FDKN 변종은 원래 DKN 대비 17배 빠른 속도로 작동한다(각 $640 \times 480$ 이미지당 0.01초), 동시에 뛰어난 성능을 유지한다.
• 지침 없이 저해상도 깊이 맵만을 사용하여 커널 학습을 수행하더라도 $3 \times 3$ 희소 커널을 활용하면 여전히 SOTA 성능을 달성한다. 이는 강력한 내재 학습 능력을 시사한다.
• 깊이 및 색채 영상 양측에서 커널 가중치와 샘플링 오프셋을 함께 학습할 때 성능이 가장 우수하며, 잔차 연결이 포함된 경우에 특히 그렇다.
• $3 \times 3$ 커널 크기가 정확도와 속도의 최적의 균형을 이룬다. 더 큰 커널($15 \times 15$)은 추가적인 성능 향상 없이 비용만 증가시킨다.
• DownConv 모듈은 성능에 결정적인 영향을 미치며, 이를 제거하면 RMSE가 3.26에서 5.00으로 증가한다. 이는 넓은 수용장역할의 중요성을 강조한다.