[논문 리뷰] Attention Attention Everywhere: Monocular Depth Prediction with Skip Attention

Ashutosh Agarwal, Chetan Arora|arXiv (Cornell University)|2022. 10. 17.

Advanced Vision and Imaging인용 수 6

한 줄 요약

이 논문은 피그셀 기반의 심층 신경망인 PixelFormer을 제안하며, 고해상도 인코더 특징과 장거리 디코더 특징을 융합하기 위해 스킵 어텐션 모듈(SAM)을 사용하는 단일 영상 깊이 추정 프레임워크를 제안한다. 모델은 가장粗略한 수준의 특징에서 쿼리를 초기화하고, 창 기반의 교차 어텐션을 통해 이를 정밀화함으로써 깊이 경계 정확도와 일반화 성능을 향상시킨다. 이로 인해 NYUv2와 KITTI에서 각각 5.3%와 3.9%의 상대 오차 향상을 달성하여 최신 기술 수준(SOTA)을 확립한다.

ABSTRACT

Monocular Depth Estimation (MDE) aims to predict pixel-wise depth given a single RGB image. For both, the convolutional as well as the recent attention-based models, encoder-decoder-based architectures have been found to be useful due to the simultaneous requirement of global context and pixel-level resolution. Typically, a skip connection module is used to fuse the encoder and decoder features, which comprises of feature map concatenation followed by a convolution operation. Inspired by the demonstrated benefits of attention in a multitude of computer vision problems, we propose an attention-based fusion of encoder and decoder features. We pose MDE as a pixel query refinement problem, where coarsest-level encoder features are used to initialize pixel-level queries, which are then refined to higher resolutions by the proposed Skip Attention Module (SAM). We formulate the prediction problem as ordinal regression over the bin centers that discretize the continuous depth range and introduce a Bin Center Predictor (BCP) module that predicts bins at the coarsest level using pixel queries. Apart from the benefit of image adaptive depth binning, the proposed design helps learn improved depth embedding in initial pixel queries via direct supervision from the ground truth. Extensive experiments on the two canonical datasets, NYUV2 and KITTI, show that our architecture outperforms the state-of-the-art by 5.3% and 3.9%, respectively, along with an improved generalization performance by 9.4% on the SUNRGBD dataset. Code is available at https://github.com/ashutosh1807/PixelFormer.git.

연구 동기 및 목표

• 최신 기술 모델들에서도 객체 경계에서 깊이 레이블링의 정확도가 떨어지는 문제를 해결하기 위해.
• 인코더-디코더 아키텍처에서 고해상도 국소 특징과 전역적 맥락 특징의 융합을 향상시키기 위해.
• 초기 피그셀 쿼리에 깊이 백터 예측을 통한 직접적 감독을 가능하게 하여 깊이 정보의 임bedding을 향상시키기 위해.
• 적응형 이미지 특화 깊이 백터링을 통해 SUNRGBD와 같은 분포 외 데이터셋에 대한 일반화 성능을 향상시키기 위해.
• 기존의 컨볼루션 기반 스킵 연결을 장거리 상관관계를 포착하는 어텐션 기반 모듈로 대체하기 위해.

제안 방법

• 모델는 계층적 특징을 추출하기 위해 비전 트랜스포머 백본을 사용하며, 가장粗略한 특징 맵을 이용해 피그셀 쿼리를 Pixel Query Initialiser 모듈을 통해 초기화한다.
• 스킵 어텐션 모듈(SAM)은 디코더 특징과 인접한 인코더 특징 간의 창 기반 교차 어텐션을 계산하여, 더 높은 해상도에서 쿼리를 정밀화한다.
• SAM은 국소 창 내에서 관련 있는 인코더 특징에 주목함으로써 장거리 특징 집적을 가능하게 하여, 국소 컨볼루션을 초월한 맥락 통합을 향상시킨다.
• 백터 중심 예측기(BCP) 모듈은 초기 피그셀 쿼리에서 직접적으로 이미지 적응형 깊이 백터를 추정하며, 지도 학습을 위한 지표로 실제 깊이값을 제공한다.
• 네트워크는 이산화된 깊이 백터에 대한 순서 기반 회귀를 통해 학습되며, BCP 모듈 덕분에 깊이 정보에 대한 조기이고 효과적인 감독이 가능해진다.
• 전체 아키텍처는 인코더-디코더 구조와 반복적인 쿼리 정밀화를 결합하며, 표준 스킵 연결 대신 어텐션 기반 융합을 도입한다.

Figure 2: Detailed Architecture of our proposed approach PixelFormer : Given an input image, a vision transformer-based encoder first extracts the multiscale feature maps. The feature map with the coarsest resolution ( $E_{4}$ ) is given as input to the PQI module. The PQI module produces initial pi

실험 결과

연구 질문

• RQ1 표준 컨볼루션 기반 스킵 연결 대비 어텐션 기반 융합이 인코더와 디코더 특징을 융합함으로써 깊이 예측 정확도를 향상시킬 수 있는가?
• RQ2 가장粗略한 특징에서 쿼리를 초기화하고 교차 어텐션을 통해 정밀화하는 방식이 더 나은 깊이 임베딩과 일반화 성능을 제공하는가?
• RQ3 초기 피그셀 쿼리에 백터 중심 예측을 통한 직접적 감독이 모델 성능 향상과 수렴 속도 향상에 기여하는가?
• RQ4 제안된 방법은 NeWCRFs와 같은 최신 기술 모델 대비 분포 외 데이터셋인 SUNRGBD에서 어떻게 일반화되는가?
• RQ5 창 기반 교차 어텐션은 과도한 계산 비용 없이도 고해상도 특징에서 장거리 상관관계를 효과적으로 포착할 수 있는가?

주요 결과

• PixelFormer은 이전 최신 기술 대비 NYUv2 데이터셋에서 절대 상대 오차(Abs Rel) 5.3% 향상되었다.
• KITTI 데이터셋에서는 이전 최신 기술 대비 절대 상대 오차(Abs Rel) 3.9%와 제곱 상대 오차(Sq Rel) 3.9% 향상되었다.
• SUNRGBD 데이터셋에서는 절대 상대 오차 기준으로 일반화 성능이 9.4% 향상되었다.
• 제거 실험 결과, 스킵 어텐션 모듈(SAM)이 KITTI에서 덧셈 기반 및 연결 기반 융합보다 Abs Rel 기준 4.0% 향상되고 Sq Rel 기준 4.2% 향상됨을 확인하였다.
• 초기 피그셀 쿼리를 사용해 깊이 백터를 예측하는 Bin Center Predictor(BCP) 모듈은 별도의 ViT를 사용하는 경우보다 Abs Rel 기준 3.0% 향상되었다.
• 정성적 결과 분석에서, NeWCRFs 대비 PixelFormer은 베개나 침대와 같은 객체 경계에서 깊이 레이블 혼동을 줄이는 것으로 나타났다.

Figure 4: Qualitative comparison of previous state-of-the-art method NeWCRFs on the outdoor dataset KITTI.