[논문 리뷰] Structure-Aware Residual Pyramid Network for Monocular Depth Estimation

Xiaotian Chen, Xuejin Chen외 1명|arXiv (Cornell University)|2019. 07. 13.

Advanced Vision and Imaging참고 문헌 11인용 수 12

한 줄 요약

이 논문은 단일 영상에서의 깊이 추정을 위한 구조 인식 잔차 피라미드 네트워크(SARPN)를 제안한다. 이는 군집에서 세분화되는 복잡한 시나리오를 고려하여 다중 척도의 시나리오 구조를 명시적으로 모델링하는 방법을 사용한다. 잔차 피라미드 디코더(RPD)와 잔차 보정 모듈(RRM), 적응형 밀집 특징 융합(ADFF) 모듈을 통합함으로써 SARPN은 다중 척도에서 깊이 맵을 점진적으로 개선하며, NYU-Depth v2에서 최고 성능을 기록하여 큰 평면 영역과 세밀한 물체 세부 사항 모두에서 정확도가 향상된다.

ABSTRACT

Monocular depth estimation is an essential task for scene understanding. The underlying structure of objects and stuff in a complex scene is critical to recovering accurate and visually-pleasing depth maps. Global structure conveys scene layouts, while local structure reflects shape details. Recently developed approaches based on convolutional neural networks (CNNs) significantly improve the performance of depth estimation. However, few of them take into account multi-scale structures in complex scenes. In this paper, we propose a Structure-Aware Residual Pyramid Network (SARPN) to exploit multi-scale structures for accurate depth prediction. We propose a Residual Pyramid Decoder (RPD) which expresses global scene structure in upper levels to represent layouts, and local structure in lower levels to present shape details. At each level, we propose Residual Refinement Modules (RRM) that predict residual maps to progressively add finer structures on the coarser structure predicted at the upper level. In order to fully exploit multi-scale image features, an Adaptive Dense Feature Fusion (ADFF) module, which adaptively fuses effective features from all scales for inferring structures of each scale, is introduced. Experiment results on the challenging NYU-Depth v2 dataset demonstrate that our proposed approach achieves state-of-the-art performance in both qualitative and quantitative evaluation. The code is available at https://github.com/Xt-Chen/SARPN.

연구 동기 및 목표

• 단일 영상 깊이 추정에서 전반적인 시나리오 레이아웃과 국소 기하학적 세부 정보를 동시에 유지하는 문제를 해결하기 위해.
• 딥 러닝 프레임워크 내에서 계층적인 시나리오 구조—큰 평면 영역에 대한 전반적이고, 물체 세부 정보에 대한 국소적인 것—을 명시적으로 모델링하기 위해.
• 다중 척도에서 잔차 맵을 통해 거친 깊이 맵을 점진적으로 개선함으로써 깊이 예측 정확도를 향상시키기 위해.
• 각 수준의 개선에 맞게 관련 특징을 적응적으로 선택함으로써 척도 간 특징 융합을 향상시키기 위해.
• NYU-Depth v2 벤치마크에서 정량적 지표와 시각적 품질 측면에서 모두 최고 성능을 달성하기 위해.

제안 방법

• 다중 척도에서 깊이 맵을 예측하기 위해 잔차 피라미드 디코더(RPD)를 설계하였으며, 상위 레벨은 전반적인 시나리오 구조를 나타내고, 하위 레벨은 국소적 형태 세부 정보를 캡처한다.
• 각 척도에서 잔차 보정 모듈(RRM)이 잔차 깊이 맵을 예측하여 상위 레벨의 거친 예측에 더 세밀한 세부 정보를 점진적으로 추가한다.
• 적응형 밀집 특징 융합(ADFF) 모듈은 인코더에서 유도된 다중 척도 특징을 동적으로 융합하여 각 척도에서의 잔차 예측을 안내함으로써 특징 활용도를 향상시킨다.
• 백본이 SENet 기반 특징 추출기인 인코더-디코더 아키텍처와 스킵 연결을 사용하며, 네트워크는 엔드 투 엔드로 훈련된다.
• 손실 함수는 표준 깊이 회귀 손실(예: RMSE, REL, log10)을 조합하여 전반적인 레이아웃과 국소 세부 정보 정확도를 최적화한다.
• 모델은 NYU-Depth v2에서 엔드 투 엔드로 훈련되며, NYU-Depth v2와 일반화 세트(ScanNet, SUN-RGBD)에서 평가된다.

실험 결과

연구 질문

• RQ1 딥 러닝 네트워크가 단일 영상 깊이 추정 성능 향상에 기여하기 위해 다중 척도의 시나리오 구조를 효과적으로 모델링할 수 있는가?
• RQ2 다중 척도에서의 잔차 보정이 큰 평면 영역과 세밀한 물체 세부 정보의 복원에 어떻게 기여하는가?
• RQ3 다중 척도에서의 적응형 특징 융합이 깊이 예측 성능 향상에 어느 정도 기여하는가?
• RQ4 명시적인 시나리오 구조 모델링이 다양한 실제 환경에서의 일반화 성능 향상에 기여하는가?
• RQ5 제안된 방법이 최고 수준의 기존 방법들과 비교하여 기하학적 구조와 에지 세부 정보를 얼마나 잘 유지하는가?

주요 결과

• NYU-Depth v2 데이터셋에서 SARPN은 상대 오차(REL) 0.554, 평균 제곱근 오차(RMS) 0.749, log10 오차 0.630을 기록하여 이전 최고 성능 방법들을 능가한다.
• 모든 임계값에서 가장 높은 F1 점수를 확보하여 세밀한 구조적 세부 정보의 보존 능력이 뛰어나다는 것을 보여준다.
• 기본 모델에 RPD 모듈을 추가함으로써 REL 오차는 6.5% 감소하고 RMS는 3.5% 감소하여 그 영향력이 뚜렷하다는 것을 입증한다.
• ADFF 모듈을 추가로 통합함으로써 REL은 3.5% 감소하고 RMS는 2.7% 감소하여 특징 융합에서의 효과성을 확인한다.
• ScanNet과 SUN-RGBD와 같은 새로운 데이터셋에 대해서도 잘 일반화되어 큰 평면 영역과 물체 세부 정보를 모두 효과적으로 복원한다.
• 예측된 깊이 맵에서 복원된 3D 포인트 클러스터는 SARPN이 큰 벽면의 평탄성을 유지하고 다른 방법보다 왜곡을 줄인다는 것을 보여준다.