[논문 리뷰] SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for Dynamic Scenes

Libo Sun, Jia-Wang Bian외 4명|arXiv (Cornell University)|2022. 11. 07.

Advanced Vision and Imaging인용 수 4

한 줄 요약

SC-DepthV3는 사전 훈련된 단일 이미지 깊이 모델에서 유도한 가짜 깊이를 활용하여 역동적 장면에서 강력한 자기지도 학습 단안 깊이 추정 방법을 제안한다. 동적 영역 정밀화(DRR) 및 국소 구조 정밀화(LSR) 모듈을 도입하여 깊이 순서 일致성과 노말 기반 순위 매칭을 통해 객체 경계에서 정확도와 선명도를 향상시킨다. 이는 DDAD 및 IBims-1과 같은 도전적인 동적 장면을 포함한 여섯 가지 벤치마크 데이터셋에서 기존 자기지도 학습 방법들을 크게 능가한다.

ABSTRACT

Self-supervised monocular depth estimation has shown impressive results in static scenes. It relies on the multi-view consistency assumption for training networks, however, that is violated in dynamic object regions and occlusions. Consequently, existing methods show poor accuracy in dynamic scenes, and the estimated depth map is blurred at object boundaries because they are usually occluded in other training views. In this paper, we propose SC-DepthV3 for addressing the challenges. Specifically, we introduce an external pretrained monocular depth estimation model for generating single-image depth prior, namely pseudo-depth, based on which we propose novel losses to boost self-supervised training. As a result, our model can predict sharp and accurate depth maps, even when training from monocular videos of highly-dynamic scenes. We demonstrate the significantly superior performance of our method over previous methods on six challenging datasets, and we provide detailed ablation studies for the proposed terms. Source code and data will be released at https://github.com/JiawangBian/sc_depth_pl

연구 동기 및 목표

• 영상 훈련 중 역동적 객체와 가림 현상으로 인한 자기지도 학습 단안 깊이 추정 성능 저하 문제를 해결하기 위해.
• 가림 현상으로 인해 다중 시점 일致성이 실패하는 객체 경계에서 깊이 맵의 선명도를 향상시키기 위해.
• 지상 진실 레이블 없이도 정확도는 떨어지지만 순서적으로 정확한 가짜 깊이를 사전 훈련된 모델에서 유도하여 자기지도 학습을 유도하기 위해.
• 명시적인 동적 객체 검출 또는 복잡한 운동 모델링 없이도 동적 영역에서 높은 성능을 유지하는 방법을 개발하기 위해.
• 상용 가짜 깊이를 최소한의 추가 비용으로 효과적으로 활용하여 자기지도 학습 깊이 추정을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 사전 훈련된 단안 깊이 모델(LeReS)을 사용하여 자기지도 훈련을 위한 단일 이미지 깊이 사전 지식으로 가짜 깊이를 생성한다.
• 동적 및 정적 영역 간 깊이 순서 일치성을 강제하기 위해 신뢰도 기반 샘플링과 깊이 순위 손실을 활용하는 동적 영역 정밀화(DRR) 모듈을 도입한다.
• 노말 매칭 손실과 엣지 유도 상대 노말 순위 매칭 손실을 활용하여 국소 기하학적 구조를 유지하는 국소 구조 정밀화(LSR) 모듈을 제안한다.
• 새로운 가짜 깊이 기반 정규화와 함께 사진적 일치 및 기하학적 일치 손실을 결합하여 훈련 안정성과 정확도를 향상시킨다.
• 가짜 깊이 감독을 통합하면서도 자기지도 목표를 유지하는 다단계 훈련 전략을 활용한다.
• 외부 모델의 재학습 또는 미세조정 없이 상용 가짜 깊이 추론을 사용하여 계산 오버헤드를 최소화한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 단일 이미지 깊이 모델에서 유도한 가짜 깊이가 역동적 장면에서 자기지도 학습 깊이 추정을 향상시킬 수 있는가?
• RQ2 정량적 정확도가 낮은 불완전한 가짜 깊이라도 효과적으로 자기지도 학습 깊이 학습을 향상시킬 수 있는가?
• RQ3 동적 영역와 정적 영역 간 깊이 순서 일치성을 활용하여 일반화 능력과 경계 선명도를 향상시킬 수 있는가?
• RQ4 엣지 유도 손실을 통한 노말 정보 통합이 깊이 맵의 국소 구조 보존에 더 나은 성능을 내는가?
• RQ5 제안된 방법이 정적 및 극도로 동적인 벤치마크 데이터셋 모두에서 최신 기술을 능가할 수 있는가?

주요 결과

• SC-DepthV3는 DDAD 및 IBims-1과 같은 도전적인 동적 벤치마크를 포함한 여섯 가지 어려운 데이터셋에서 최신 기술 성능을 달성했으며, LeReS(ResNet-101) 가짜 깊이를 사용할 경우 DDAD에서 AbsRel 0.142를 기록했다.
• 제거 실험 결과 DRR 또는 LSR 모듈을 제거하면 성능이 심각하게 저하됨을 확인하여 이들의 효과를 입증했다.
• 특히 동적 영역 및 객체 경계에서 기존 자기지도 학습 방법보다 큰 성능 향상을 보였으며, 그림 1 및 그림 5(d)의 정성적 결과에서 이를 확인할 수 있었다.
• LeReS(ResNet-101)를 사용한 가짜 깊이 생성이 DPT나 LeReS(ResNet-50)보다 더 우수한 성능을 내어, 노말 정보 정렬의 중요성을 시사한다.
• 성능 향상은 동적 장면과 정적 장면 모두에서 일관되게 유지되어 장면 복잡성에 대한 강건성을 입증했다.
• 낮은 정확도의 가짜 깊이를 사용하더라도 높은 정확도의 깊이 추정을 달성함으로써 순서 일치성이 효과적인 지도 학습을 위한 충분한 조건임을 입증했다.