[논문 리뷰] Revisiting Single Image Depth Estimation: Toward Higher Resolution Maps with Accurate Object Boundaries

Junjie Hu, Mete Özay외 2명|arXiv (Cornell University)|2018. 03. 23.

Advanced Vision and Imaging참고 문헌 56인용 수 20

한 줄 요약

이 논문은 단일 이미지 깊이 추정 성능을 햖थ기 위해 다중 척도 특징 융합과 다중 구성 요소 손실 함수를 갖춘 새로운 CNN 아키텍처를 제안한다. 이로 인해 더 높은 해상도의 깊이 맵과 더 선명한 물체 경계를 얻을 수 있다. 인코더-디코더 특징을 복합 모듈과 결합하고 깊이, 기울기, 표면 법선 손실을 함께 훈련시킴으로써, 특히 미세한 디테일과 물체 경계에서 우수한 정확도를 기록하여 최신 기술을 초월한다.

ABSTRACT

This paper considers the problem of single image depth estimation. The employment of convolutional neural networks (CNNs) has recently brought about significant advancements in the research of this problem. However, most existing methods suffer from loss of spatial resolution in the estimated depth maps; a typical symptom is distorted and blurry reconstruction of object boundaries. In this paper, toward more accurate estimation with a focus on depth maps with higher spatial resolution, we propose two improvements to existing approaches. One is about the strategy of fusing features extracted at different scales, for which we propose an improved network architecture consisting of four modules: an encoder, decoder, multi-scale feature fusion module, and refinement module. The other is about loss functions for measuring inference errors used in training. We show that three loss terms, which measure errors in depth, gradients and surface normals, respectively, contribute to improvement of accuracy in an complementary fashion. Experimental results show that these two improvements enable to attain higher accuracy than the current state-of-the-arts, which is given by finer resolution reconstruction, for example, with small objects and object boundaries.

연구 동기 및 목표

• 기존 단일 이미지 깊이 추정 방법에서 공간 해상도 저하와 흐린 물체 경계 문제를 해결하기 위해.
• CNN 아키텍처에서 다중 척도 특징 융합을 향상시켜 깊이 맵 품질을 향상시키기 위해.
• 특히 깊이 맵에서 급격한 변화가 있는 경계를 더 잘 포착할 수 있도록 경계 정확도를 향상시키는 손실 함수를 개발하기 위해.
• 후처리 없이 엔드 투 엔드 훈련을 가능하게 하여 소형 물체와 물체 윤곽의 더 정밀한 재구성 달성하기 위해.

제안 방법

• 네 모듈로 구성된 네트워크를 도입: 다중 척도 특징 추출을 위한 인코더, 특징 업스케일링을 위한 디코더, 다양한 해상도에서의 특징 융합을 위한 다중 척도 특징 융합(MFF) 모듈, 최종 예측을 위한 정밀화 모듈.
• 스킵 연결과 업프로젝션 레이어를 사용하여 공간적 디테일을 유지하고 고해상도 특징 융합을 가능하게 한다.
• 깊이 손실, 기울기 손실, 표면 법선 손실을 포함하는 병합된 손실 함수를 사용하여 경계 및 경계 재구성 품질을 향상시킨다.
• 최종 레이어를 제외한 각 컨볼루션 레이어 후 배치 정규화와 ReLU 활성화 함수를 적용하여 훈련 안정성을 높인다.
• 표준 백프로파게이션을 사용하여 후처리 없이 전체 네트워크를 엔드 투 엔드로 훈련시킨다.
• 유연성과 성능 평가를 위해 인코더에서 다양한 백본 네트워크(ResNet, DenseNet, SENet)를 지원한다.

실험 결과

연구 질문

• RQ1 스킵 연결을 갖춘 다중 척도 특징 융합이 예측된 깊이 맵의 공간 해상도와 경계 정확도를 향상시키는가?
• RQ2 깊이 손실 외에 기울기 손실과 표면 법선 손실을 함께 조합하면 깊이 손실만 사용할 때보다 더 나은 일반화와 경계 유지 성능을 달성하는가?
• RQ3 제안된 손실 함수는 전통적인 깊이 기반 메트릭과 비교해 경계 재구성 품질 평가에서 어떻게 성능을 발휘하는가?
• RQ4 제안된 아키텍처가 NYU-Depth V2와 같은 벤치마크 데이터셋에서 최신 기술을 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 NYU-Depth V2 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 전체 손실 함수를 사용할 경우 RMS 오차 0.555와 δ<1.25 점수 0.843을 기록하였다.
• 기울기 손실과 표면 법선 손실을 추가함으로써 경계 정확도가 크게 향상되었으며, F1 점수는 깊이 전용일 경우 0.525에서 전체 손실일 경우 0.548로 상승하였다.
• 시각적 비교 결과, 제안된 방법은 이전 방법 대비 더 선명한 물체 경계와 작은 구조(병, 램프 랩 등)의 더 나은 복원을 보였다.
• 제거 실험을 통해 전체 손실 함수가 단계적 경계와 미세한 디테일 재구성에서 가장 정확한 깊이 맵을 생성하는 것으로 확인되었다.
• 정량적 메트릭과 시각적 품질 모두에서 이전 최신 기술을 뛰어넘었으며, 특히 경계 재구성과 소형 물체 탐지에서 뛰어난 성능을 보였다.
• 제안된 경계 정확도 측정 방식은 시각적 품질과 강하게 상관관계를 보이며, 깊이 맵의 정밀도 평가에 효과적임을 검증하였다.