[논문 리뷰] Deep Surface Normal Estimation with Hierarchical RGB-D Fusion

Jin Zeng, Yanfeng Tong외 5명|arXiv (Cornell University)|2019. 04. 06.

Advanced Vision and Imaging참고 문헌 34인용 수 4

한 줄 요약

이 논문은 단일 RGB-D 이미지로부터 정확한 표면 법선 추정을 위해 적응형 특징 재가중을 갖춘 계층적 RGB-D 융합 네트워크를 제안한다. RGB 및 깊이 브랜치에서 유도된 다중 척도 특징을 융합하면서 노이즈가 많은 깊이 입력을 억제하기 위해 신뢰도 맵을 사용하고, 완벽하지 않은 진정값 데이터를 처리하기 위해 하이브리드 다중 척도 손실을 적용함으로써, 더 선명한 세부 정보와 깊이 손상에 대한 개선된 내성성을 확보한 상태에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The growing availability of commodity RGB-D cameras has boosted the applications in the field of scene understanding. However, as a fundamental scene understanding task, surface normal estimation from RGB-D data lacks thorough investigation. In this paper, a hierarchical fusion network with adaptive feature re-weighting is proposed for surface normal estimation from a single RGB-D image. Specifically, the features from color image and depth are successively integrated at multiple scales to ensure global surface smoothness while preserving visually salient details. Meanwhile, the depth features are re-weighted with a confidence map estimated from depth before merging into the color branch to avoid artifacts caused by input depth corruption. Additionally, a hybrid multi-scale loss function is designed to learn accurate normal estimation given noisy ground-truth dataset. Extensive experimental results validate the effectiveness of the fusion strategy and the loss design, outperforming state-of-the-art normal estimation schemes.

연구 동기 및 목표

• 표면 법선 추정에서 RGB와 깊이 특징을 융합하는 효과적인 융합 전략의 부족을 해결하기 위해.
• 깊이 센서 노이즈와 깊이 맵의 누락 픽셀로 인한 아티팩트를 줄이기 위해.
• 다중 시점 재구성으로부터 유도된 노이즈가 있거나 불완전한 진정값 법선 맵이 존재하는 상황에서도 정확도를 향상시키기 위해.
• 불완전한 지도 학습 조건 하에서 전반적인 부드러움과 국소적 세부 사항 유지 간의 균형을 맞추는 손실 함수를 설계하기 위해.

제안 방법

• 계층적 융합 메커니즘이 다중 디코더 척도에서 RGB 및 깊이 브랜치의 특징을 융합하여 전반적인 부드러움과 국소적 선명함을 모두 유지한다.
• 입력된 깊이에서 추정된 신뢰도 맵을 사용해 융합 전에 깊이 특징을 재가중함으로써, 가장자리나 구멍 영역과 같은 낮은 신뢰도 영역의 영향을 감소시킨다.
• 공간 해상도와 특징 무결성을 유지하기 위해 스위프 연결을 갖춘 다중 브랜치 인코더-디코더 아키텍처를 사용한다.
• 하이브리드 다중 척도 손실은 다양한 해상도에서 L1 및 L2 손실을 조합하며, 고해상도에서는 세부 사항을 위한 L1, 저해상도에서는 근사 정확도를 위한 L2를 사용한다.
• 신뢰도 맵은 깊이 신뢰성, 특히 높은 불확실성 영역을 평가하기 위해 경량 하위넷을 통해 계산된다.
• 모델은 다중 시점 재구성에서 유도된 진정값 법선을 사용하여 Matterport3D 및 ScanNet 데이터셋에서 학습되며, 재구성 노이즈를 완화하기 위해 손실 함수가 설계된다.

실험 결과

연구 질문

• RQ1 다양한 척도에서 RGB와 깊이 특징을 효과적으로 융합하여 표면 법선 추정 성능을 향상시킬 수 있는가?
• RQ2 깊이 특징에 대한 신뢰도 기반 재가중이 깊이 센서 노이즈와 누락 데이터로 인한 아티팩트를 줄일 수 있는가?
• RQ3 노이즈가 있는 진정값 법선 맵에서 학습할 경우 하이브리드 다중 척도 손실 함수가 성능 향상에 기여하는가?
• RQ4 세부 정보 유지 및 정확도 측면에서 계층적 융합 전략은 조기 또는 후기 융합 전략보다 우수한가?

주요 결과

• 제안된 계층적 융합과 신뢰도 기반 재가중 전략은 특히 깊이 구멍 영역에서 조기 및 후기 융합 베이스라인에 비해 우수한 성능을 보이며, 정성적 비교를 통해 이를 확인했다.
• Matterport3D 데이터셋에서 평균 오차는 13.062°이며, 30° 임계값 기준 중앙 오차는 6.090°를 기록하여 최신 기술 수준의 방법을 초월했다.
• ScanNet 데이터셋에서 평균 오차는 14.590°이며, 30° 임계값 기준 중앙 오차는 7.468°를 기록하여 다양한 데이터셋에 대한 강력한 일반화 능력을 입증했다.
• 절단 실험을 통해 하이브리드 손실 함수가 L1 또는 L2 손실만을 사용하는 경우보다 더 선명한 결과와 더 나은 세부 정보 유지 능력을 확보했다.
• 신뢰도 맵은 깊이 구멍 근처에서 성능 향상에 기여하여 이진 마스크를 사용한 경우보다 경계 아티팩트를 감소시켰다.
• 모델은 GTX TITAN X GPU에서 이미지당 약 34.2ms의 합리적인 추론 시간을 기록하며 최신 기술 수준의 성능를 달성했다.