[논문 리뷰] Semantic-Guided Representation Enhancement for Self-supervised Monocular Trained Depth Estimation

Rui Li, Qing Mao외 5명|arXiv (Cornell University)|2020. 12. 15.

Advanced Vision and Imaging참고 문헌 48인용 수 6

한 줄 요약

이 논문은 자기지도 학습 기반 단안 깊이 추정을 위한 의미 지도형 표현 강화 프레임워크를 제안하며, 의미 분할 브랜치를 도입하여 깊이 특징 학습을 향상시킨다. 국소적 에지 세부 정보를 위한 의미 지도형 에지 강화 모듈(SEEM)과 전역적 맥락을 위한 의미 지도형 다중 수준 주의 메커니즘을 결합함으로써, 특히 얇은 구조물과 의미 경계에서의 추정 성능을 고려할 때 KITTI 및 Cityscapes 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Self-supervised depth estimation has shown its great effectiveness in producing high quality depth maps given only image sequences as input. However, its performance usually drops when estimating on border areas or objects with thin structures due to the limited depth representation ability. In this paper, we address this problem by proposing a semantic-guided depth representation enhancement method, which promotes both local and global depth feature representations by leveraging rich contextual information. In stead of a single depth network as used in conventional paradigms, we propose an extra semantic segmentation branch to offer extra contextual features for depth estimation. Based on this framework, we enhance the local feature representation by sampling and feeding the point-based features that locate on the semantic edges to an individual Semantic-guided Edge Enhancement module (SEEM), which is specifically designed for promoting depth estimation on the challenging semantic borders. Then, we improve the global feature representation by proposing a semantic-guided multi-level attention mechanism, which enhances the semantic and depth features by exploring pixel-wise correlations in the multi-level depth decoding scheme. Extensive experiments validate the distinct superiority of our method in capturing highly accurate depth on the challenging image areas such as semantic category borders and thin objects. Both quantitative and qualitative experiments on KITTI show that our method outperforms the state-of-the-art methods.

연구 동기 및 목표

• 자기지도 학습 기반 단안 깊이 추정이 의미 경계 및 얇은 구조물에서 깊이를 정확히 추정하는 데에 한계를 보이고 있는 문제를 해결하기 위해.
• 전용 에지 강화 모듈을 통해 의미 에지 정보를 활용하여 국소적 깊이 표현을 향상시키기 위해.
• 다중 수준 자기 주의 메커니즘을 사용하여 의미 및 깊이 특징을 융합함으로써 전역적 깊이 표현을 향상시키기 위해.
• 지상 진실 깊이 레이블에 의존하지 않고도 의미 지도의 효과성을 검증하기 위해.
• KITTI에서 학습된 모델만을 사용하여 Cityscapes와 같은 다른 데이터셋에 대한 일반화 능력을 입증하기 위해.

제안 방법

• 자기지도 학습 프레임워크 내에서 깊이 추정을 위한 맥락적 특징을 제공하기 위해 보조 의미 분할 브랜치를 도입한다.
• 깊이 및 의미 디코더에서 유도된 다중 수준 특징을 사용하여 의미 경계에서 점 기반 특징을 샘플링하고 강화하는 의미 지도형 에지 강화 모듈(SEEM)을 제안한다.
• 의미 및 깊이 특징 간의 픽셀 간 상관관계를 모델링하기 위해 디코딩 레이어 전반에 걸쳐 의미 지도형 다중 수준 주의 메커니즘을 적용한다.
• 지상 진실 레이블에 의존하지 않도록, 사전 훈련된 의미 모델에서 유도된 가짜 레이블을 사용하여 훈련 중 의미 브랜치를 지도한다.
• 다양한 척도에서 의미 및 깊이 특징을 융합하여 국소적 및 전역적 깊이 표현을 모두 향상시킨다.
• 지형 일致성 손실을 이미지 시퀀스에서 사용하여 지도 없는 깊이 추정을 위해 전체 네트워크를 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 의미 지도는 어려운 영역, 예를 들어 객체 경계나 얇은 구조물에서 깊이 추정 정확도를 향상시킬 수 있는가?
• RQ2 전용 모듈을 통해 의미 에지 정보를 통합하면 국소적 깊이 표현에 어떤 영향을 미치는가?
• RQ3 의미 맥락을 활용함으로써 다중 수준 주의 메커니즘이 전역적 깊이 표현을 어느 정도 향상시킬 수 있는가?
• RQ4 KITTI에서만 훈련된 경우, 제안된 방법이 KITTI 외의 새로운 데이터셋인 Cityscapes에 잘 일반화되는가?
• RQ5 다른 사전 훈련된 의미 모델을 사용하는 등 의미 지도의 변동에 대해 이 방법은 얼마나 강인한가?

주요 결과

• 제안된 방법은 KITTI 2015에서 절대 상대 오차(Abs Rel) 0.105를 기록하여 기준 방법(Godard et al., 2019) 및 최신 기술 수준(SOTA) 접근법을 초월한다.
• KITTI에서, δ≤1.25 정확도는 0.891을 기록하였으며, '오토바이'를 제외한 모든 의미 카테고리에서 성능 향상이 관찰되었다.
• M_{CSV}에서 유도된 가짜 의미 레이블을 사용해 훈련한 모델가 M_{CSV+K}를 사용한 모델와 유사한 성능을 기록함으로써, 의미 지도 품질에 대한 강인성을 입증한다.
• Cityscapes에서, 지상 진실 및 가짜 의미 레이블을 모두 사용하여 높은 품질의 깊이 예측을 생성함으로써 강력한 일반화 능력을 입증한다.
• 정성적 결과는 객체 경계와의 깊이 일치도 향상되고, 특히 먼 곳이나 복잡한 환경에서 얇은 구조물의 복원 능력 향상이 뚜렷하게 관찰된다.
• 의미 지도형 다중 수준 주의 메커니즘은 디코딩 레이어 전반에 걸쳐 장거리 픽셀 상관관계를 모델링함으로써 특징 표현을 효과적으로 향상시킨다.