[논문 리뷰] Structure-Attentioned Memory Network for Monocular Depth Estimation

Jing Zhu, Yunxiao Shi외 4명|arXiv (Cornell University)|2019. 09. 10.

Advanced Vision and Imaging참고 문헌 33인용 수 4

한 줄 요약

이 논문은 단안 깊이 추정을 위한 구조주의 기억망(SAMN)을 제안하며, 구조 인식 가능한 이미지-깊이 잔차 패턴을 학습하고 기억하기 위해 기억 가능한 필터 은행(MBF)과 주의 유도 제어기(AGC)를 활용하는 새로운 구조 중심 기억(SOM) 모듈을 도입한다. 이는 적응적이고 구조 특화된 특징 정렬을 가능하게 한다. 이 방법은 픽셀 수준과 구조 수준에서 양식 간 도메인 갭을 효과적으로 줄여 KITTI 및 NYU Depth V2 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Monocular depth estimation is a challenging task that aims to predict a corresponding depth map from a given single RGB image. Recent deep learning models have been proposed to predict the depth from the image by learning the alignment of deep features between the RGB image and the depth domains. In this paper, we present a novel approach, named Structure-Attentioned Memory Network, to more effectively transfer domain features for monocular depth estimation by taking into account the common structure regularities (e.g., repetitive structure patterns, planar surfaces, symmetries) in domain adaptation. To this end, we introduce a new Structure-Oriented Memory (SOM) module to learn and memorize the structure-specific information between RGB image domain and the depth domain. More specifically, in the SOM module, we develop a Memorable Bank of Filters (MBF) unit to learn a set of filters that memorize the structure-aware image-depth residual pattern, and also an Attention Guided Controller (AGC) unit to control the filter selection in the MBF given image features queries. Given the query image feature, the trained SOM module is able to adaptively select the best customized filters for cross-domain feature transferring with an optimal structural disparity between image and depth. In summary, we focus on addressing this structure-specific domain adaption challenge by proposing a novel end-to-end multi-scale memorable network for monocular depth estimation. The experiments show that our proposed model demonstrates the superior performance compared to the existing supervised monocular depth estimation approaches on the challenging KITTI and NYU Depth V2 benchmarks.

연구 동기 및 목표

• RGB 이미지와 깊이 맵 간의 다중 모odal 간 변동성을 줄여 단안 깊이 추정의 불완전한 성격을 해결하기 위해.
• 평면 표면, 대칭성, 반복 패턴과 같은 구조적 규칙성을 명시적으로 모델링하여 특징 수준의 도메인 적응을 향상시키기 위해.
• 복잡한 특징 정렬을 학습 가능한 기억 메커니즘에 위임하여 이미지 인코더의 학습 부담을 줄이기 위해.
• 구조 인식 가능한 교차 도메인 특징 전달을 통한 엔드 투 엔드 학습을 통해 뛰어난 깊이 예측 성능를 달성하기 위해.

제안 방법

• 이 방법은 새로운 구조 중심 기억(SOM) 모듈을 갖춘 인코더-디코더 회귀 네트워크를 사용하여 다중 모달 특징 정렬을 수행한다.
• SOM 모듈은 이미지-깊이 잔차 패턴을 구조적으로 인식하는 방식으로 학습하고 저장하는 기억 가능한 필터 은행(MBF)을 포함한다.
• 주의 유도 제어기(AGC)는 이미지 인코더의 쿼리 특징에 기반해 MBF에서 가장 관련성이 높은 필터를 동적으로 선택한다.
• 이중 모달 잔차 복잡도 손실을 사용하여 픽셀 수준과 구조 수준에서 이미지 및 깊이 특징 간 분포 갭을 최소화한다.
• SOM 모듈이 특징 수준에서 표현 전달을 향상시키기 위해 특징 수준에서 작동하며, 네트워크는 엔드 투 엔드로 학습된다.
• 인코더에서 유도된 다중 스케일 특징은 특징 피라미드 네트워크(FPN) 디코더를 통해 융합되어 세부 사항 복구를 향상시킨다.

실험 결과

연구 질문

• RQ1 기억 기반 메커니즘이 구조적 규칙성을 포착함으로써 단안 깊이 추정에서 교차 도메인 특징 정렬을 향상시킬 수 있는가?
• RQ2 구조 특화된 이미지-깊이 잔차 패턴을 학습하는 것이 직접적인 특징 정렬보다 더 나은 깊이 예측 성능를 제공하는가?
• RQ3 SOM 모듈의 주의 기반 필터 선택 방식이 고정 또는 비구조적 정렬 방법에 비해 성능에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 이미지 인코더의 학습 부담을 줄이면서 깊이 추정 정확도를 향상시키는 데 어느 정도 기여하는가?

주요 결과

• 제안된 방법은 KITTI 벤치마크에서 기존의 지도 학습 기반 단안 깊이 추정 방법들을 능가하는 최신 기술 수준(SOTA) 성능를 달성한다.
• NYU Depth V2 데이터셋에서 모델은 δ₁ 정확도 0.990을 기록하여 베이스라인 및 직접 정렬 방법에 비해 뚜렷한 향상을 보였다.
• 제거 분석 결과, SOM 모듈은 RMSE를 0.136으로 줄였고, 로그₁₀ 오차는 0.604로 감소시켰다. 이는 FPN 디코더를 갖춘 베이스라인의 0.229 및 0.803에 비해 향상된 결과이다.
• SOM 모듈을 추가함으로써 NYU Depth V2에서 직접 정렬 베이스라인 대비 δ₁ 정확도가 15.5% 상대적으로 향상되었다.
• 피라미드 디코더(FPN)는 특히 윤곽선 및 에지 복구에서 더 높은 δ₁ 점수를 기록하여 단순 대칭 디코더보다 우수한 성능를 보였다.
• 제거 분석을 통해 SOM 모듈이 직접 특징 정렬보다 더 효과적임을 확인하였으며, 직접 정렬은 베이스라인 대비 최소한의 향상만을 보였다.