[논문 리뷰] Dynamo-Depth: Fixing Unsupervised Depth Estimation for Dynamical Scenes

Yihong Sun, Bharath Hariharan|arXiv (Cornell University)|2023. 10. 29.

Advanced Vision and Imaging인용 수 11

한 줄 요약

Dynamo-Depth는 비레이블 영상에서 단일 카메라 깊이, 3D 독립 흐름, 자기-동작, 모션 분할을 함께 학습하여 움직이는 객체를 해손시키고 움직이는 영역의 깊이를 개선한다.

ABSTRACT

Unsupervised monocular depth estimation techniques have demonstrated encouraging results but typically assume that the scene is static. These techniques suffer when trained on dynamical scenes, where apparent object motion can equally be explained by hypothesizing the object's independent motion, or by altering its depth. This ambiguity causes depth estimators to predict erroneous depth for moving objects. To resolve this issue, we introduce Dynamo-Depth, an unifying approach that disambiguates dynamical motion by jointly learning monocular depth, 3D independent flow field, and motion segmentation from unlabeled monocular videos. Specifically, we offer our key insight that a good initial estimation of motion segmentation is sufficient for jointly learning depth and independent motion despite the fundamental underlying ambiguity. Our proposed method achieves state-of-the-art performance on monocular depth estimation on Waymo Open and nuScenes Dataset with significant improvement in the depth of moving objects. Code and additional results are available at https://dynamo-depth.github.io.

연구 동기 및 목표

• 동적 장면에서 비지도 단일 카메라 깊이 추정의 깊이-모션 모호성 해소.
• 3D 장면 흐름 프레임워크를 사용하여 카메라의 자기-동작을 독립 물체 모션으로 분리한다.
• 레이블 없이 모션 분할을 초기화하는 모션 초기화 전략을 도입한다.
• Waymo Open 및 nuScenes에서 최신 깊이 추정 성능을 달성하고 움직이는 객체에서 큰 이득을 얻는다.

제안 방법

• 레이블이 없는 단일 카메라 영상에서 깊이, 카메라 자기-동작, 3D 독립 흐름을 예측한다.
• 독립 모션을 완전한 흐름 네트워크와 잔류 흐름을 게이트하는 모션 마스크로 모델링한다.
• 깊이와 자기-동작으로부터 강체 흐름을 계산하고 이를 독립 흐름과 결합해 목표 프레임을 재구성한다.
• 깊이 업데이트를 조기에 동결하는 2단계 모션 초기화를 사용해 모션 분할을 부트스트래핑한다.
• 광학적 재구성 손실과 에지 인식 매끄러움, 모션 일관성, 희소성, 바닥면 페널티 등 규제항을 포함한 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 비지도 단일 카메라 깊이 추정이 레이블 없이도 동적 물체가 존재하는 상황에서 신뢰성 있게 학습될 수 있는가?
• RQ2 3D 독립 흐름과 모션 마스크를 명시적으로 모델링하는 것이 정적-장면 가정에 비해 움직이는 물체의 깊이를 개선하는가?
• RQ3 초기 모션 초기화가 깊이와 모션이 재구성을 공동으로 설명하는 악화된 해를 방지하는가?
• RQ4 Waymo Open과 nuScenes에서 움직이는 물체에 대한 깊이 정확도 및 모션 분할에서 어떤 이득을 얻을 수 있는가?

주요 결과

IM	Sem	D	오차 절대(Relative)	오차 제곱(Rel)	오차 RMSE	오차 RMSE 로그	정확도 δ<1.25	정확도 δ<1.25^2	정확도 δ<1.25^3
		K	0.115	0.882	4.701	0.190	0.879	0.961	0.982
		K	0.101	0.729	4.454	0.178	0.897	0.965	0.983
	m	K	0.141	1.026	5.290	0.215	0.816	0.945	0.979
	m	K	0.115	0.785	4.698	0.192	0.871	0.959	0.982
	b	K	0.114	0.876	4.715	0.191	0.872	0.955	0.981
	m	K	0.113	0.835	4.693	0.191	0.879	0.961	0.981
	m	K	0.113	0.704	4.581	0.184	0.871	0.961	0.984
		K	0.110	0.719	4.486	0.184	0.878	0.964	0.984
		K	0.120	0.864	4.850	0.195	0.858	0.956	0.982
		N	0.193	2.285	7.357	0.287	0.765	0.885	0.935

• Waymo Open 및 nuScenes 데이터셋에서 최첨단 깊이 정확도를 달성한다.
• 움직이는 물체에서 최대 62% 상대 이득의 정확도와 68% 상대 오차 감소로 상당한 개선을 보인다.
• 모션 분할 F1 점수가 감독 없이도 최대 71.8%에 도달한다.
• 동적 영역을 명시적으로 처리하면서 전체 깊이 성능이 강하게 나타난다.