[논문 리뷰] Structured Attention Guided Convolutional Neural Fields for Monocular Depth Estimation

Dan Xu, Wei Wang외 4명|arXiv (Cornell University)|2018. 03. 29.

Advanced Vision and Imaging참고 문헌 33인용 수 40

한 줄 요약

이 논문은 모노큘러 깊이 추정용으로 다중 스케일 CNN 특징을 융합하는 구조화 된 주의 가이드 조건부 신경장(field) CRF를 제시하여 엔드-투-엔드 학습을 가능하게 하고 NYU Depth V2와 KITTI에서 경쟁력 있거나 최첨단 성과를 달성합니다.

ABSTRACT

Recent works have shown the benefit of integrating Conditional Random Fields (CRFs) models into deep architectures for improving pixel-level prediction tasks. Following this line of research, in this paper we introduce a novel approach for monocular depth estimation. Similarly to previous works, our method employs a continuous CRF to fuse multi-scale information derived from different layers of a front-end Convolutional Neural Network (CNN). Differently from past works, our approach benefits from a structured attention model which automatically regulates the amount of information transferred between corresponding features at different scales. Importantly, the proposed attention model is seamlessly integrated into the CRF, allowing end-to-end training of the entire architecture. Our extensive experimental evaluation demonstrates the effectiveness of the proposed method which is competitive with previous methods on the KITTI benchmark and outperforms the state of the art on the NYU Depth V2 dataset.

연구 동기 및 목표

• CRF를 통해 다중 스케일로 융합된 단일 영상으로부터 깊이 추정을 동기화한다.
• CRF 내에서 스케일 간 정보 흐름을 조절하는 구조화 된 주의 메커니즘을 도입한다.
• CRF를 프런트 엔드 CNN 및 디코더와 통합하여 엔드-투-엔드 학습 가능성을 높인다.
• NYU Depth V2 및 KITTI에서 CRF 기반 및 다중 스케일 융합 기반의 baselines보다 정확도를 개선한다.

제안 방법

• 프런트 엔드 CNN에서 얻은 S 스케일 특징 맵 X = {X_s}를 받아 잠재 맵 Y = {Y_s}와 주의 A = {A_s}를 학습하는 다중 스케일 CRF를 제안한다.
• CRF 에너지를 Y_s를 X_s와 연결하는Unary 항, 중간 스케일과 최종 스케일 간의 연결 및 주의에 의해 변조되는 쌍항, 이웃 픽셀 간의 매끄러움을 촉진하는 구조화된 주의 항으로 정의한다.
• Y와 A에 대한 평균장 추정치를 도출하고 이를 엔드-투-엔드 학습을 위한 신경망 계층으로 구현한다.
• 인코더로 ResNet-50을 사용하고, res3c, res4f, res5c 특징 맵을 융합한 뒤 CRF 융합을 위해 해상도 1/4로 업샘플하고, 깊이 예측을 위해 원래 해상도로 다시 업샘플한다.
• 깊이 예측에 대한 제곱 손실과 SGD 최적화를 사용하여 전체 네트워크를 엔드-투-엔드로 학습한다.

실험 결과

연구 질문

• RQ1 구조화 된 주의 메커니즘이 CRF에 통합될 때 모노큘러 깊이 추정을 위한 다중 스케일 융합을 개선할 수 있는가?
• RQ2 CRF 내에서 특징 수준에서 작동하는 것이 최종 예측만 정제하는 것보다 더 나은 깊이 맵을 초래하는가?
• RQ3 제안된 방법은 NYU Depth V2와 KITTI에서 최첨단 CRF 기반 및 비-CRF 기반 모노큘러 깊이 추정과 어떻게 비교되는가?

주요 결과

• 제안된 방법은 NYU Depth V2에서 기존의 CRF 기반 방법보다 우수하고 KITTI에서도 상위 성능 중 하나이다.
• CRF 내의 구조화된 주의는 비주의 CRF 및 단순한 특징 융합 대비 깊이 예측 정확도를 향상시킨다.
• CNN과 구조화된 CRF를 엔드-투-엔드로 학습시켰을 때 원래의 학습 데이터만으로도 경쟁력 있는 결과를 얻는다.
• 일부 선행 CRF 기반 모델보다 빠른 추론 속도로 베이스라인 대비 우수한 정확도-시간 트레이드오프를 달성한다.
• 구조화 된 주의 CRF를 통한 다중 스케일 특징 결합이 최상의 성능을 보임을 애블레이션으로 확인하였다.