[논문 리뷰] Channel-Wise Attention-Based Network for Self-Supervised Monocular Depth Estimation

Jiaxing Yan, Hong Zhao외 2명|arXiv (Cornell University)|2021. 12. 24.

Advanced Vision and Imaging인용 수 10

한 줄 요약

이 논문은 채널별 어텐션 메커니즘을 사용하여 시점 구조 인식과 국소적 세부 사항 복구를 향상시키는 자기지도 학습 단안 깊이 추정 네트워크인 CADepth-Net을 제안한다. 장거리 맥락 모델링을 위한 자기어텐션을 사용하는 구조 인식 모듈과 특징 재보정을 위한 채널 어텐션을 사용하는 세부 강조 모듈을 통합함으로써, KITTI 및 Make3D 벤치마크에서 최신 기술 수준의 성능을 달성하며 더 선명한 깊이 예측과 왜곡 감소를 실현한다.

ABSTRACT

Self-supervised learning has shown very promising results for monocular depth estimation. Scene structure and local details both are significant clues for high-quality depth estimation. Recent works suffer from the lack of explicit modeling of scene structure and proper handling of details information, which leads to a performance bottleneck and blurry artefacts in predicted results. In this paper, we propose the Channel-wise Attention-based Depth Estimation Network (CADepth-Net) with two effective contributions: 1) The structure perception module employs the self-attention mechanism to capture long-range dependencies and aggregates discriminative features in channel dimensions, explicitly enhances the perception of scene structure, obtains the better scene understanding and rich feature representation. 2) The detail emphasis module re-calibrates channel-wise feature maps and selectively emphasizes the informative features, aiming to highlight crucial local details information and fuse different level features more efficiently, resulting in more precise and sharper depth prediction. Furthermore, the extensive experiments validate the effectiveness of our method and show that our model achieves the state-of-the-art results on the KITTI benchmark and Make3D datasets.

연구 동기 및 목표

• 기존 자기지도 학습 단안 깊이 추정 방법이 3차원 시점 기하학을 명시적으로 모델링하는 데서 약점이 있음을 해결하기 위해.
• 전반적인 시점 이해와 정밀한 경계 국소화를 향상시켜 깊이 예측 품질을 향상시키기 위해.
• 비용이 많이 드는 LiDAR 기반 진짜 깊이 데이터에 의존하지 않고도 높은 성능을 달성할 수 있는 경량이지만 효과적인 아키텍처를 개발하기 위해.
• 채널별 어텐션 메커니즘이 다양한 척도에서 장거리 의존성과 정보성 특징을 포착하는 데 효과적인지 검증하기 위해.

제안 방법

• 채널 차원을 따라 자기어텐션을 적용하여 장거리 맥락적 특징을 통합하고 시점 구조 표현을 향상시키는 구조 인식 모듈을 도입한다.
• 채널 어텐션을 사용하여 특징 맵을 재보정하고 정보성 채널, 특히 객체 경계를 인코딩하는 채널을 선택적으로 강화하는 세부 강조 모듈을 활용한다.
• 다중 해상도 디코더 단계에 세부 강조 모듈을 적용하여 공간적 세부 사항을 점진적으로 정밀화하고 해상도 복구를 향상시킨다.
• 채널별 어텐션을 통해 고수준 및 저수준 특징의 효율적인 통합이 가능한 다중 척도 특징 융합 전략을 적용한다.
• 진짜 깊이 데이터가 필요 없도록, 유연한 시점 합성 기반으로 가능한 차별 가능한 시각 신호를 사용하여 단안 영상 또는 스테레오 이미지 쌍을 자기지도 신호로 활용한다.
• 깊이 감독 손실과 광학 일致성 손실의 조합을 사용하여 네트워크를 엔드 투 엔드로 훈련시킨다.

Figure 1: Depth prediction from a single image. Our proposed CADepth-Net produces more precise and sharper depth estimation, especially for thin structures e.g. road signs and pedestrians.

실험 결과

연구 질문

• RQ1 채널 차원에서 자기어텐션 메커니즘이 단안 깊이 추정에서 더 나은 시점 구조 인식을 위해 장거리 의존성을 모델링하는 데 효과적인가?
• RQ2 어떤 어텐션을 통한 채널별 특징 재보정이 국소적 세부 사항의 유지와 깊이 예측의 왜곡 감소에 기여하는가?
• RQ3 구조 인식 모듈과 세부 강조 모듈의 통합이 다양한 백본 아키텍처에서 일관된 성능 향상을 이끌어내는가?
• RQ4 제안된 방법이 애초에 레이블이 부여된 깊이 데이터를 요구하지 않는 표준 벤치마크인 KITTI 및 Make3D에서 최신 기술 수준의 결과를 달성할 수 있는가?

주요 결과

• ResNet50를 사용하여 KITTI 벤치마크에서 새로운 최신 기술 수준 성능를 달성하였으며, 평균 절대 상대 오차(Abs Rel)는 0.105, log10 오차는 0.159를 기록하였다.
• 기본 모델 대비 δ<1.25 지표에서 0.003 향상되었으며, 계산 비용은 최소한이면서 추가 파라미터도 없었다.
• KITTI에서 기준 모델 대비 RMSE 오차가 0.351 감소하였으며, 깊이 불연속부에서 선명도 향상이 뚜렷했다.
• Make3D 데이터셋에서 Abs Rel은 0.312, log10 오차는 0.159를 기록하여 이전 자기지도 학습 방법을 능가하였다.
• 절단 실험 결과, 두 모듈이 독립적으로나 상호보완적으로 기여하며, 전체 모델은 58.34M 파라미터와 RTX3090 GPU에서 28.41ms의 추론 시간을 기록하였다.
• 시각화 결과, 세부 강조 모듈이 객체 경계를 인코딩하는 저수준 특징에 집중하고 있음을 확인하여 경계 정밀도 향상 역할을 확인하였다.

Figure 2: Overview of Framework. Our proposed CADepth-Net is a fully convolutional U-Net architecture. We first use a ResNet encoder to extract semantic features and input them to the Structure Perception Module . We perform the matrix multiplication between input features and attention maps to gene