[논문 리뷰] Bidirectional Attention Network for Monocular Depth Estimation

Shubhra Aich, Jean Marie Uwabeza Vianney외 3명|arXiv (Cornell University)|2020. 09. 01.

Advanced Vision and Imaging참고 문헌 39인용 수 9

한 줄 요약

이 논문은 이중 주의 메커니즘을 통해 국소적이고 전역적 맥락을 통합함으로써 특징 표현을 향상시키는 경량이며 엔드 투 엔드 프레임워크인 이중 주의 네트워크(BANet)를 제안한다. 이는 백본 네트워크 이후에 적용된 이중 주의 모듈을 통해 이루어지며, KITTI 및 DIODE 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하면서도 계산 복잡도와 파라미터 수를 감소시킨다. 이는 깊이에서 공간(D2S) 변환과 전체 해상도에서 단계별 주의 보정을 통해 달성된다.

ABSTRACT

In this paper, we propose a Bidirectional Attention Network (BANet), an end-to-end framework for monocular depth estimation (MDE) that addresses the limitation of effectively integrating local and global information in convolutional neural networks. The structure of this mechanism derives from a strong conceptual foundation of neural machine translation, and presents a light-weight mechanism for adaptive control of computation similar to the dynamic nature of recurrent neural networks. We introduce bidirectional attention modules that utilize the feed-forward feature maps and incorporate the global context to filter out ambiguity. Extensive experiments reveal the high degree of capability of this bidirectional attention model over feed-forward baselines and other state-of-the-art methods for monocular depth estimation on two challenging datasets -- KITTI and DIODE. We show that our proposed approach either outperforms or performs at least on a par with the state-of-the-art monocular depth estimation methods with less memory and computational complexity.

연구 동기 및 목표

• 기존의 CNN 기반 단안 깊이 추정 모델이 국소적이고 전역적 맥락을 효과적으로 통합하는 데에 한계가 있음을 해결하기 위해.
• 기본 백본 아키텍처에서 공간의 해상도를 낮추는 것에 의해 발생하는 표현의 모호성을 극복하기 위해.
• 백본 이후 전체 공간 해상도에서 작동하는 경량이고 효율적인 주의 메커니즘을 개발하기 위해.
• 특히 얇은 줄기나 밝은/어두운 배경과 같은 도전적인 영역에서 깊이 추정 정확도를 향상시키되, 모델 복잡도를 증가시키지 않기 위해.
• 신경 기계 번역에서 영감을 얻은 이중 주의가 메모리 소비와 FLOPs를 낮추면서도 최신 기술 수준(SOTA) 방법과 동등하거나 슈퍼어리어어 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 깊이에서 공간(D2S) 변환을 통해 전체 공간 해상도를 복원한 후, CNN 백본의 각 단계에서 얻은 특징 맵을 개선하기 위해 이중 주의 메커니즘을 제안한다.
• 이전 단계와 이후 단계의 특징을 사용하여 현재 단계의 특징을 개선하는 전방 및 후방 주의 모듈을 적용함으로써 이중 주의 맥락 통합을 실현한다.
• 각 단계에서 D2S 변환된 단일 채널 특징 맵에 시나리오 수준의 맥락을 통합하여 전역 맥락 통합을 도입함으로써, 모호한 영역에서의 신뢰성을 향상시킨다.
• 고차원 특징 맵 대신 단일 채널 특징 맵(H×W×1)에 주의를 적용함으로써 경량 설계를 구현하여 FLOPs와 파라미터를 감소시킨다.
• 주어진 단계들 간의 주의 가중치를 계산하는 다단계 개선 파이프라인을 사용하여, 네트워크가 주목할 만한 깊이 신호에 동적으로 집중할 수 있도록 한다.
• 자연어 처리(NLP)에서의 이중 순환 신경망(RNN) 개념을 컴퓨터 비전에 응용하여, 단안 깊이 추정과 같은 조밀한 회귀 작업에 적용한다.

실험 결과

연구 질문

• RQ1 특징 맵에서 과거와 미래 맥락을 모두 통합함으로써 이중 주의 메커니즘이 단안 깊이 추정 성능을 향상시킬 수 있는가?
• RQ2 백본 이후 전체 해상도에서 주의를 적용할 경우, 백본 내부나 다운샘플된 특징에서 주의를 적용하는 것보다 성능이 더 우수한가?
• RQ3 경량 주의 메커니즘이 계산 비용과 파라미터 수를 줄이면서도 최신 기술 수준(SOTA) 모델을 능가하거나 동등하게 성능을 낼 수 있는가?
• RQ4 전역 맥락 통합은 얇은 구조나 고대비 배경과 같은 도전적인 영역에서 성능에 어떤 영향을 미치는가?
• RQ5 네트워크의 각 단계에서 전방 주의와 후방 주의 중 어느 쪽이 깊이 예측 개선에 더 기여하는가?

주요 결과

• BANet-Full은 전체 이중 주의 버전으로서 KITTI 및 DIODE 데이터셋에서 AbsRel, SqRel, RMSE 등의 주요 지표에서 최신 기술 수준(SOTA) 성능을 달성하거나 능가한다.
• BANet-Backward는 BANet-Forward보다 성능이 뛰어나, 미래 맥락을 사용해 초기 단계의 특징을 개선하는 것이 반대의 경우보다 더 효과적임을 시사한다.
• 주목할 만한 주의 기반 모델(주목할 만한 주의 없이)은 DORN 및 DenseDepth보다 더 우수한 성능을 보이며, 이는 D2S를 통한 전체 해상도 예측이 다중 해상도 업샘플링보다 더 효과적임을 시사한다.
• BANet-Markov는 바로 이전 단계의 특징만을 사용하여 주의를 적용하므로, 전체 BANet에 비해 성능이 열등하며, 먼 과거 맥락을 忽略함으로써 성능이 제한됨을 나타낸다.
• 전역 맥락 통합은 낮은 픽셀 커버리지에도 불구하고 섬세한 영역(예: 나무 줄기, 창문 프레임)에서 예측 품질을 크게 향상시켜 거짓 음성(false negatives)을 감소시킨다.
• 최근의 SOTA 모델들보다 더 적은 파라미터와 낮은 FLOPs로도 뛰어난 성능을 달성하여, 정확도를 희생시키지 않은 채 높은 효율성을 입증한다.