[논문 리뷰] GLPanoDepth: Global-to-Local Panoramic Depth Estimation

Jiayang Bai, Shuichang Lai외 3명|arXiv (Cornell University)|2022. 02. 06.

Advanced Vision and Imaging인용 수 10

한 줄 요약

GLPanoDepth는 구면파노라마에서 왜곡 없는 전역 특징을 추출하기 위해 새로운 Cubemap Vision Transformer(CViT)를 사용하는 전역에서 국소로 향하는 딥러닝 프레임워크를 제안한다. 이는 국소 세부 정보를 위한 컨volution 브랜치와 특징 통합을 위한 게이트드 퓨전 모듈을 결합하여, 다양한 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we propose a learning-based method for predicting dense depth values of a scene from a monocular omnidirectional image. An omnidirectional image has a full field-of-view, providing much more complete descriptions of the scene than perspective images. However, fully-convolutional networks that most current solutions rely on fail to capture rich global contexts from the panorama. To address this issue and also the distortion of equirectangular projection in the panorama, we propose Cubemap Vision Transformers (CViT), a new transformer-based architecture that can model long-range dependencies and extract distortion-free global features from the panorama. We show that cubemap vision transformers have a global receptive field at every stage and can provide globally coherent predictions for spherical signals. To preserve important local features, we further design a convolution-based branch in our pipeline (dubbed GLPanoDepth) and fuse global features from cubemap vision transformers at multiple scales. This global-to-local strategy allows us to fully exploit useful global and local features in the panorama, achieving state-of-the-art performance in panoramic depth estimation.

연구 동기 및 목표

• 전체 컨volution 네트워크에서 파노라마 깊이 추정에 있어 제한된 전역적 맥락 모델링 문제를 해결한다.
• 전방위 이미지의 등방위 투영에서 내재된 공간에 따라 변하는 왜곡을 극복한다.
• 비전 트랜스포머의 장거리 의존성 모델링 능력을 활용하면서도, 전용 CNN 브랜치를 통해 국소 공간적 구조를 유지한다.
• 다중 척도에서 전역 및 국소 특징을 융합하는 이중 브랜치 아키텍처를 개발하여 깊이 예측 품질을 향상시킨다.
• 장면 방향성이나 중력 정렬에 대한 강한 가정 없이도 파노라마 깊이 추정 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 구면 파노라마를 큐브맵으로 투영하여 등방위 투영의 왜곡을 제거하고 전역 특징 추출을 가능하게 하는 비전 트랜스포머의 변종인 Cubemap Vision Transformers(CViT)를 제안한다.
• 이중 스트림 네트워크를 설계한다: 한 브랜치는 큐브맵 투영에서 왜곡 없는 전역 특징을 추출하기 위해 CViT를 사용하고, 다른 브랜치는 표준 컨volution 레이어를 사용하여 국소적 고주파 세부 정보를 캡처한다.
• 다중 척도의 게이트드 퓨전 모듈을 구현하여 양 브랜치의 특징을 점진적으로 통합함으로써 공간 맥락에 기반한 동적 특징 가중치를 가능하게 한다.
• 다단계 특징에서의 업샘플링 및 최종 깊이 예측의 정밀화를 위해 RefineNet 기반의 특징 융합 블록을 활용한다.
• 표준 깊이 감독을 사용하여 엔드 투 엔드 네트워크를 훈련시키며, 회귀 및 가장자리 인식 성분을 포함한 손실 함수를 적용한다.
• 일반화 성능 향상을 위해 데이터 증강 및 정규화 기법을 적용하여, 특히 희소 깊이 애너테이션이 있는 과도한 데이터셋에서의 성능을 향상시킨다.

Figure 1 : We propose a global-to-local approach ( i.e. , GLPanoDepth) to recover a dense depth map from a single panorama. Benefited from the rich global information that have been extracted, the proposed method is able to preserve both global structures and local details as shown in 2D depth maps

실험 결과

연구 질문

• RQ1 비전 트랜스포머 기반 아키텍처는 등방위 투영의 왜곡을 피하면서도 전방위 파노라마 이미지에서 장거리 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 왜곡 없는 큐브맵 기반 트랜스포머에서 유도된 전역 특징과 컨볼루션 네트워크에서 유도된 국소 특징을 융합함으로써 파노라마 깊이 추정 성능이 어떻게 향상되는가?
• RQ3 높은 정확도의 깊이 맵을 단일 파노라마에서 도출하기 위해 전역 맥락 모델링과 국소 텍스처 유지 보존 중 어느 것이 더 중요한 기여를 하는가?
• RQ4 특징 융합에 있어 게이트드 퓨전 메커니즘이 단순 연결(concatenation)보다 우월한가?
• RQ5 제안된 방법의 성능은 데이터셋 크기와 다양성에 얼마나 의존하는가? 특히 저데이터 환경에서의 성능은 어떠한가?

주요 결과

• GLPanoDepth는 NYUv2, KITTI, Stanford2D3D를 포함한 여러 파노라마 깊이 추정 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 추론 실험 결과, CNN 브랜치를 제거한 경우(Ours(CViT)) 미세한 세부 정보가 크게 손실되며, 의자 다리나 책장 가장자리와 같은 작은 구조에서 뚜렷한 손실이 발생함을 확인하였다.
• CViT를 표준 ViT로 교체한 경우(Ours(ViT+CNN)) 등방위 입력에서의 완화되지 않은 왜곡으로 인해 성능이 열 劣화됨을 확인하여 큐브맵 투영의 必要성 을 입증하였다.
• 게이트드 퓨전 모듈은 정량적 지표와 정성적 결과 모두에서 단순 연결보다 뛰어난 성능을 보이며, 더 선명한 가장자리와 더 나은 전경-배경 분리 성능을 제공한다.
• 게이트드 퓨전 모듈을 사용할 경우 수렴 속도가 빠르고 일반화 성능이 향상되어 훈련 안정성과 특징 학습 효율성이 향상됨을 확인하였다.
• Stanford2D3D(1,413장)와 같은 작은 데이터셋에서는 단일 CViT 브랜치가 수렴하지 못함을 확인하여, 트랜스포머 기반 모델에 대규모 훈련 데이터가 필수적임을 시사한다.

Figure 2 : The overall architecture of GLPanoDepth. In the CViT branch, a cubemap is transformed into tokens by extracting non-overlapping patches on each face, followed by a linear projection of their flattened representation. This image embedding is augmented with a positional embedding and is pas