[논문 리뷰] Surface Normals in the Wild

Weifeng Chen, Donglai Xiang외 1명|arXiv (Cornell University)|2017. 04. 10.

Advanced Vision and Imaging참고 문헌 1인용 수 4

한 줄 요약

이 논문은 자연 환경의 이미지에 대한 대규모 커뮤니티 기반 표면 법선 주석을 담은 Surface Normals in the Wild (SNOW) 데이터셋을 소개한다. 또한 표면 법선을 활용하여 단일 이미지의 깊이 추정 성능을 향상시키기 위해 두 가지 새로운 손실 함수—각도 차이와 깊이 도함수 비교—를 제안한다. 이는 기존 방법에 비해 NYU Depth 및 SNOW 데이터셋 모두에서 깊이 품질을 크게 향상시킨다.

ABSTRACT

We study the problem of single-image depth estimation for images in the wild. We collect human annotated surface normals and use them to train a neural network that directly predicts pixel-wise depth. We propose two novel loss functions for training with surface normal annotations. Experiments on NYU Depth and our own dataset demonstrate that our approach can significantly improve the quality of depth estimation in the wild.

연구 동기 및 목표

• 비구속적인 환경에서의 깊이 추정에 있어 표면 기하학성과 인지적 충실도를 포괄하지 못하는 상대적 깊이 주석의 한계를 해결하기 위해.
• 다양하고 실제적인 이미지에 대한 커뮤니티 기반 표면 법선 주석을 위한 실용적인 방법을 개발하기 위해.
• 표면 법선 주석을 감독 신호로 사용하여 메트릭 깊이 예측을 위한 딥 신경망을 훈련하기 위해.
• 실제 및 합성 데이터셋에서 표면 법선 감독의 효과를 평가하기 위해.

제안 방법

• 가상의 화살자와 탄성 평면을 조정하여 표면 법선을 추정할 수 있도록 하는 사용자 인터페이스를 설계하여 실제 이미지에 대한 신뢰성 있는 커뮤니티 기반 표면 법선 주석을 가능하게 하였다.
• Flickr 이미지에서 60,061개의 표면 법선 주석을 수집하여 훈련 및 평가를 위한 SNOW 데이터셋을 구성하였다.
• 예측된 표면 법선과 진짜 표면 법선 간의 각도를 최소화하여 기하학적 충실도를 향상시키는 새로운 각도 차이 손실을 제안하였다.
• 예측된 깊이의 도함수와 진짜 표면 법선에서 유도된 도함수를 비교하는 깊이 도함수 기반 손실을 개발하여 깊이 불연속성 정확도를 향상시켰다.
• 표면 법선 감독과 표준 깊이 감독을 조합하여 딥 컨volution 네트워크를 훈련하였으며, 상호 교환 분석을 통해 성능 간 상충관계를 평가하였다.
• 다양하고 비구속적인 환경에 적합하도록 SNOW 데이터셋에서 모델을 미세조정하여 일반화 능력 향상과 표면 법선 정확도 향상을 입증하였다.

실험 결과

연구 질문

• RQ1 인간 커뮤니티 기반의 표면 법선 주석이 비구속적이고 실제적인 이미지에서의 깊이 추정 성능을 향상시킬 수 있는가?
• RQ2 표면 법선 주석이 연속성과 곡률과 같은 인지적으로 중요한 3차원 기하학을 상대적 깊이 주석보다 더 잘 포착하는가?
• RQ3 표면 법선 감독을 위한 각도 차이 손실과 깊이 도함수 기반 손실 중 어느 것이 더 유리한가?
• RQ4 진짜 깊이가 제공되지 않을 경우 표면 법선 감독이 깊이 예측 성능을 크게 향상시킬 수 있는가?
• RQ5 SNOW 데이터셋에서의 미세조정이 자연 환경의 이미지로의 일반화 능력을 어느 정도 향상시키는가?

주요 결과

• 제안된 표면 법선 기반 손실 함수는 NYU Depth 데이터셋에서 깊이 추정 품질을 크게 향상시켰으며, 최고의 모델(d_n_al_F)은 Wang [31]과 같은 최신 기법보다 각도 거리 및 임계값 이내 비율 지표에서 뛰어난 성능을 보였다.
• d_n_al_F 모델을 SNOW 데이터셋에서 미세조정한 결과(d_n_al_F_SNOW) 평균 각도 오차가 25.75°로, 11.25° 이내의 법선 비율이 21.66% 향상되었고, 30° 이내 비율은 67.88% 향상되어 실제 환경의 장면으로의 일반화 능력이 뛰어나다는 것을 입증하였다.
• SNOW 데이터셋에서만 훈련된 모델(Ours_NYU_SNOW§)은 평균 각도 오차 23.33°, 30° 이내 법선 비율 72.74%를 기록하여 SNOW 벤치마크에서 최신 표면 법선 추정 모델을 능가하는 성능을 보였다.
• 깊이 도함수 기반 손실은 깊이 불연속성을 더 잘 유지하는 데 효과적이었고, 각도 손실은 표면 방향 충실도를 더 잘 유지하는 데 유리하여 응용 분야에 따라 다른 성능 특성의 상충관계를 보였다.
• SNOW 데이터셋은 효과적인 전이 학습을 가능하게 하며, SNOW에서 미세조정된 모델은 기준 모델 대비 표면 법선 예측 정확도에서 뚜렷한 향상을 보였다.
• 그림 7의 정성적 결과는 제안된 방법이 다양한 비구속적인 자연 환경의 이미지에서 더 인지적으로 충실한 깊이 예측을 생성한다는 것을 보여준다.