[논문 리뷰] Learning Depth via Leveraging Semantics: Self-supervised Monocular Depth Estimation with Both Implicit and Explicit Semantic Guidance

Rui Li, Xiantuo He외 6명|arXiv (Cornell University)|2021. 02. 11.

Advanced Vision and Imaging참고 문헌 46인용 수 9

한 줄 요약

이 논문은 암묵적 및 명시적 의미 지도를 활용하여 깊이 정확도를 향상시키는 자기지도 학습 단안 깊이 추정 방법을 제안한다. 의미 인식 공간 특징 정렬(SSFA) 모듈과 의미 지도 랭킹 손실을 도입함으로써 의미 인식 특징 정렬과 강력한 가장자리 인식 보조를 통해 깊이 추정 성능을 향상시키며, KITTI에서 0.103 AbsRel 및 4.471 RMSE로 최신 기술을 초월한다.

ABSTRACT

Self-supervised depth estimation has made a great success in learning depth from unlabeled image sequences. While the mappings between image and pixel-wise depth are well-studied in current methods, the correlation between image, depth and scene semantics, however, is less considered. This hinders the network to better understand the real geometry of the scene, since the contextual clues, contribute not only the latent representations of scene depth, but also the straight constraints for depth map. In this paper, we leverage the two benefits by proposing the implicit and explicit semantic guidance for accurate self-supervised depth estimation. We propose a Semantic-aware Spatial Feature Alignment (SSFA) scheme to effectively align implicit semantic features with depth features for scene-aware depth estimation. We also propose a semantic-guided ranking loss to explicitly constrain the estimated depth maps to be consistent with real scene contextual properties. Both semantic label noise and prediction uncertainty is considered to yield reliable depth supervisions. Extensive experimental results show that our method produces high quality depth maps which are consistently superior either on complex scenes or diverse semantic categories, and outperforms the state-of-the-art methods by a significant margin.

연구 동기 및 목표

• 현재 자기지도 학습 깊이 추정 방법이 시각적 장면의 의미를 忽시함으로써 복잡하거나 드문 물체 카테고리에서 정확도가 떨어지는 문제를 해결한다.
• 기하학적 추론과 맥락 일관성을 향상시키기 위해 의미 정보를 암묵적 및 명시적 지도로 통합하여 깊이 추정을 향상시킨다.
• 학습 및 추론 과정에서 노이즈가 있거나 정확도가 떨어지는 의미 레이블에 대응하여 실제 환경에서의 강인성을 확보한다.
• 카테고리별 깊이 사전 지식을 활용하여 전경 및 배경 물체를 포함한 다양한 의미 카테고리에서 일관된 성능 향상을 달성한다.

제안 방법

• 동일한 의미 카테고리 내에서는 깊이 분포가 일관되게 유지되고, 서로 다른 카테고리 간에는 분리되도록 강제하는 방식으로 깊이 및 의미 특징을 정렬하는 의미 인식 공간 특징 정렬(SSFA) 모듈을 도입한다.
• 의미 경계를 기반으로 교차 경계 점 4점 조합을 샘플링하는 의미 지도 랭킹 손실을 설계하여 물체 내부에서는 깊이가 매끄럽고 경계에서는 깊이 전이가 뚜렷하도록 강제한다.
• 의미 레이블 노이즈와 예측 불확실성을 고려한 강인한 점 쌍 샘플링 전략을 구현하며, 불확실성 인식 가중치를 사용해 샘플링 신뢰도를 향상시킨다.
• 전체 세그멘테이션보다는 이진 의미 마스크를 입력으로 사용하여 고품질 의미 애너테이션에 대한 의존도를 줄이고, 다양한 도메인 간 일반화 능력을 향상시킨다.
• 이미지 시퀀스를 사용해 깊이 네트워크를 자기지도 학습 방식으로 훈련하며, 의미 지도를 특징 수준과 손실 수준에 주입한다.
• 도메인 간 의미 레이블(예: Cityscapes 및 VOC)을 활용해 일반화 능력을 평가하여, 전체 세그멘테이션 mIoU가 낮을지라도 이진 mIoU는 높게 유지됨을 보였다.

실험 결과

연구 질문

• RQ1 특징 정렬을 통한 암묵적 의미 지도가 다양한 의미 카테고리가 포함된 복잡한 장면에서 깊이 추정 정확도를 향상시킬 수 있는가?
• RQ2 랭킹 손실을 통한 명시적 의미 지도가 카테고리별 깊이 일관성과 물체 경계에서의 날카운 깊이 전이를 강제함으로써 깊이 맵 품질을 향상시킬 수 있는가?
• RQ3 학습 및 추론 과정에서 노이즈가 있거나 정확도가 떨어지는 의미 레이블에 대해 이 방법의 강인성은 어떠한가?
• RQ4 낮은 품질 또는 도메인 간 의미 레이블을 사용할 경우 이 방법의 도메인 간 일반화 능력은 어느 정도인가?
• RQ5 암묵적 및 명시적 의미 지도를 병행 사용할 경우 배경 및 드문 물체 카테고리 포함 모든 의미 카테고리에서 일관된 성능 향상이 달성되는가?

주요 결과

• 제안된 방법은 KITTI 데이터셋에서 0.103 AbsRel 및 4.471 RMSE를 기록하여 최신 자기지도 학습 방법보다 유의미한 성능 향상을 달성한다.
• 전경(예: 사람, 교통 표지판) 및 배경(예: 하늘, 울타리, 벽) 카테고리 모두에서 깊이 추정 성능이 향상되었으며, 카테고리별 AbsRel 개선도를 통해 이를 확인할 수 있다.
• 의미 지도 샘플링 전략은 진정한 교차 경계 점 쌍을 75.2%의 정확도로 식별하며, 직접 샘플링 방법(55.3%)보다 19.9% 높은 성능을 보였다.
• 잘못된 의미 레이블(예: 돌을 벽으로 잘못 분류)이나 누락된 레이블이 존재하더라도 정확한 깊이 맵을 생성함으로써 강인성을 입증했다.
• 도메인 간 의미 레이블에 대해서도 모델의 일반화 능력이 뛰어나, 전체 세그멘테이션 mIoU는 낮지만 이진 mIoU는 높게 유지된다(93.54% vs. 94.74%), 그리고 완전히 지도 학습 버전과 거의 동일한 성능을 기록한다.
• SSFA 모듈은 이진 마스크에 직접적으로 포함되지 않은 영역에서도 의미 맥락을 효과적으로 활용하여 깊이 추정 성능을 향상시키며, 풍부한 맥락 특징 학습 능력을 보여준다.