[논문 리뷰] IronDepth: Iterative Refinement of Single-View Depth using Surface Normal and its Uncertainty

Gwangbin Bae, Ignas Budvytis외 1명|arXiv (Cornell University)|2022. 10. 07.

Advanced Vision and Imaging인용 수 9

한 줄 요약

IronDepth는 단일 뷰 깊이 추정을 위한 반복 보정 프레임워크를 제안하며, 예측된 표면 법선과 그 불확실성을 활용하여 깊이 맵 정확도를 향상시킨다. 깊이 보정을 최적의 근접 픽셀을 선택하는 분류 문제로 공식화하고, 서브픽셀 업샘플링을 적용함으로써 NYUv2 및 iBims-1에서 최신 기술 수준(SOTA) 성능을 달성하며, 표준 깊이 추정 네트워크를 초월해 표면 법선 정확도를 크게 향상시킨다.

ABSTRACT

Single image surface normal estimation and depth estimation are closely related problems as the former can be calculated from the latter. However, the surface normals computed from the output of depth estimation methods are significantly less accurate than the surface normals directly estimated by networks. To reduce such discrepancy, we introduce a novel framework that uses surface normal and its uncertainty to recurrently refine the predicted depth-map. The depth of each pixel can be propagated to a query pixel, using the predicted surface normal as guidance. We thus formulate depth refinement as a classification of choosing the neighboring pixel to propagate from. Then, by propagating to sub-pixel points, we upsample the refined, low-resolution output. The proposed method shows state-of-the-art performance on NYUv2 and iBims-1 - both in terms of depth and normal. Our refinement module can also be attached to the existing depth estimation methods to improve their accuracy. We also show that our framework, only trained for depth estimation, can also be used for depth completion. The code is available at https://github.com/baegwangbin/IronDepth.

연구 동기 및 목표

• 깊이 맵에서 유도된 표면 법선과 전용 네트워크에 의해 직접 추정된 표면 법선 간의 상당한 격리 문제를 해결하기 위해.
• 반복 보정 과정에서 표면 법선 가이던스와 불확실성을 활용하여 깊이 추정 정확도를 향상시키기 위해.
• 3D 재구성에서 평탄한 벽과 바닥과 같은 시나리오 기하학적 구조를 더 잘 유지하기 위해.
• 기존 깊이 추정 네트워크를 재학습 없이 향상시킬 수 있는 플러그인 모듈을 개발하기 위해.
• 희박한 깊이 측정치를 앵커 포인트로 포함하여 깊이 보완(depth completion)에의 적용 가능성을 확장하기 위해.

제안 방법

• 픽셀의 깊이와 표면 법선으로 정의된 평면 모델을 사용하여 근접 픽셀로 깊이 전파를 안내한다.
• 깊이 보정을 표면 일致성 기반으로 최적의 소스 픽셀을 선택하는 분류 작업으로 공식화한다.
• 거친 해상도에서 반복 보정을 수행하며, 반복적 네트워크를 사용해 전파 가중치를 이용해 깊이 예측을 업데이트한다.
• 학습된 업샘플링 가중치를 사용해 서브픽셀 업샘플링을 수행하여 고해상도에서 출력을 정밀하게 보정한다.
• 표면 법선의 불확실성을 고려하여 전파 결정의 신뢰도를 가중치로 반영한다.
• 프레임워크는 엔드 투 엔드로 훈련되며, 어떤 사전 훈련된 깊이 추정 모델에도 후처리 모듈로 적용 가능하다.

실험 결과

연구 질문

• RQ1 표면 법선 가이던스는 표준 회귀 기반 깊이 추정을 초월해 깊이 맵의 기하학적 정확도를 향상시킬 수 있는가?
• RQ2 법선 기반 전파를 사용한 반복 보정은 깊이를 직접 회귀하는 것보다 더 나은 표면 법선 추정을 이끌 수 있는가?
• RQ3 제안된 방법은 기존 깊이 추정 네트워크를 향상시키기 위해 후처리 모듈로 효과적으로 적용될 수 있는가?
• RQ4 희박한 깊이 측정치가 제공될 경우, 프레임워크는 깊이 보완에서 얼마나 향상된 성능을 낼 수 있는가?
• RQ5 표면 법선의 불확실성은 깊이 전파의 신뢰도와 성능에 어떤 영향을 미치는가?

주요 결과

• IronDepth는 NYUv2에서 최신 기술 수준 성능을 달성하였으며, 깊이 오차(abs rel)는 0.115이고 표면 법선 평균 각도 오차는 13.7°로, 기준 깊이 모델을 크게 능가한다.
• iBims-1 데이터셋에서는 깊이 오차(abs rel)가 0.121이고 표면 법선 평균 각도 오차는 14.8°를 기록하여 강력한 일반화 능력을 입증한다.
• IronDepth의 깊이 예측에서 유도된 표면 법선은 AdaBins에서 유도된 것(28.8° 대비 14.9°)보다 훨씬 정확하여 기하학적 정밀도 향상이 확인된다.
• 후처리 모듈로 적용했을 때, IronDepth는 NYUv2 및 iBims-1 벤치마크에서 다섯 가지 최신 기술 수준의 깊이 추정 방법의 깊이 정확도를 모두 향상시켰다.
• 희박한 깊이 측정치를 앵커 포인트로 활용하여 법선 기반 보정을 통해 깊이 보완을 효과적으로 수행하며, 최소한의 앵커 포인트로도 정확도를 향상시킬 수 있다.
• 제거 실험을 통해 불확실성 통합과 분류 기반 전파 선택이 더 안정적이고 정확한 깊이 보정을 이끌어내는 것으로 확인되었다.