[논문 리뷰] SparseFormer: Attention-based Depth Completion Network

Frederik Warburg, Michaël Ramamonjisoa외 1명|arXiv (Cornell University)|2022. 06. 09.

Advanced Vision and Imaging인용 수 4

한 줄 요약

SparseFormer은 3D 구조추론(Structure-from-Motion, SfM) 기반의 지표점과 RGB 이미지를 사용하여 매우 희박한 깊이 복원을 위한 트랜스포머 기반 네트워크를 제안한다. 이는 비균일한 희박한 지표점 간에 깊이를 보간하기 위해 전역적 어텐션 메커니즘을 활용하고, 이상치를 걸러내는 교차어텐션 기반의 보정 모듈을 포함하여, 초희박한 지점 밀도에서도 실내(NYU Depth V2) 및 대규모 실외(Mapillary Planet-Scale Depth) 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Most pipelines for Augmented and Virtual Reality estimate the ego-motion of the camera by creating a map of sparse 3D landmarks. In this paper, we tackle the problem of depth completion, that is, densifying this sparse 3D map using RGB images as guidance. This remains a challenging problem due to the low density, non-uniform and outlier-prone 3D landmarks produced by SfM and SLAM pipelines. We introduce a transformer block, SparseFormer, that fuses 3D landmarks with deep visual features to produce dense depth. The SparseFormer has a global receptive field, making the module especially effective for depth completion with low-density and non-uniform landmarks. To address the issue of depth outliers among the 3D landmarks, we introduce a trainable refinement module that filters outliers through attention between the sparse landmarks.

연구 동기 및 목표

• SfM 파이프라인에서 흔히 발생하는 극도로 희박하고 비균일하게 분포된 지표점, 이상치가 많은 조건에서 깊이 복원 문제를 해결한다.
• 다양한 밀도와 공간 분포를 가진 희박한 3D 지점에 일반화 가능한 방법을 설계한다.
• 컨볼루션 네트워크가 매우 희박한 데이터를 처리하는 데 한계가 있음을 고려해 트랜스포머의 전역 수용장역할을 활용한다.
• 어텐션 기반 보간을 통해 시각적 특징과 희박한 3D 지표점을 융합하여 깊이 복원 정확도를 향상시킨다.
• 입력 보간 이전에 SfM 지표점의 이상치를 탐지하고 제거하기 위해 학습 가능한 보정 모듈을 개발한다.

제안 방법

• 2D 투영된 3D SfM 지표점과 CNN 디코더에서 추출한 시각적 특징 간의 어텐션 볼륨을 계산하는 SparseFormer 모듈을 도입하여 전역적이고 유사도 기반의 깊이 보간을 가능하게 한다.
• 희박한 3D 지표점과 이미지 특징 간의 멀티헤드 교차어텐션 메커니즘을 사용하여 어텐션 가중치를 계산하고, 이를 통해 전체 이미지에 걸쳐 깊이 전파를 유도한다.
• 각 SfM 지표점에서 깊이 값과 시각적 특징을 결합하고, 교차어텐션을 적용하여 노이즈 또는 오류가 있는 점을 걸러내는 보정 모듈을 통합한다.
• Monodepth2의 디코더에 네 개의 SparseFormer 블록을 삽입하고, 다중 스케일 감시 및 가중 손실을 통해 특징 학습과 깊이 정확도를 향상시킨다.
• Adam 옵티마이저를 사용하여 학습을 진행하며, 학습률 감소, 배치 크기 24, NYU Depth V2 및 Mapillary Planet-Scale Depth 데이터셋에서 600,000 반복을 수행한다.
• 자기어텐션의 전역적 맥락을 활용하여, 프레임당 300개의 지점(0.1% 밀도)만 존재하는 경우에도 깊이가 효과적으로 확산됨을 보장한다.

실험 결과

연구 질문

• RQ1 컨볼루션 기반 방법과 비교해 트랜스포머 기반 모듈이 매우 희박하고 비균일하게 분포된 SfM 지표점에서 뛰어난 깊이 복원 성능을 달성할 수 있는가?
• RQ2 SparseFormer의 전역 어텐션 메커니즘이 극도의 희박성(예: 픽셀의 0.1% 미만)과 비균일한 지표점 분포를 어떻게 다루는가?
• RQ3 교차어텐션 기반의 학습 가능한 보정 모듈이 SfM 지표점의 이상치가 최종 예측에 미치는 영향을 어느 정도 줄일 수 있는가?
• RQ4 어텐션 기반 보간 메커니즘이 다양한 장면과 밀도 및 공간 분포가 다른 다양한 데이터셋에 일반화되는가?
• RQ5 ENet 및 Monodepth2와 같은 최신 기준 기반 모델과 비교해, 제안된 방법이 정량적 지표와 정성적 깊이 맵 품질 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• NYU Depth V2 데이터셋에서 SparseFormer는 REL 0.011, RMSE 4.948, δ1 0.989를 기록하며, 저밀도 지점 조건에서 ENet(REL: 0.019, RMSE: 5.469, δ1: 0.975) 및 Monodepth2를 모두 초월한다.
• Mapillary Planet-Scale Depth 데이터셋에서 SparseFormer는 Monodepth2 및 ENet를 크게 앞서며, 0.1% 지표점 밀도에서 대규모 실외 환경에서도 뛰어난 강건성을 입증한다.
• 프레임당 330개의 SfM 지표점(0.1% 밀도)만 존재하는 조건에서도 높은 정확도를 유지하여 초희박 입력에 대한 강력한 일반화 능력을 보여준다.
• MPSD에서의 정성적 결과는 SparseFormer가 텍스처가 없는 영역나 또는 가림 영역에서도 일관되고 세밀한 깊이 맵을 생성하며, 진짜 깊이와 잘 일치함을 보여준다.
• 절단 실험 결과 보정 모듈이 이상치를 걸러내어 성능을 향상시키며, 특히 지표점 품질이 낮을 경우에 효과적임을 확인한다.
• 전역 어텐션 메커니즘이 국소적 컨볼루션 연산과는 달리, 극히 적은 입력 지점 조건에서도 큰 이미지 영역에 걸쳐 깊이를 효과적으로 확산시킴을 입증한다.