[논문 리뷰] SideRT: A Real-time Pure Transformer Architecture for Single Image Depth Estimation

Chang Shu, Ziming Chen외 4명|arXiv (Cornell University)|2022. 04. 29.

Advanced Vision and Imaging인용 수 10

한 줄 요약

SideRT는 교차 스케일 주의(СSA) 및 다중 스케일 정련(MSR) 모듈을 사용하여 전단일 컨volution 없이 다중 스케일 특징을 효율적으로 융합하는 실시간 순수 트랜스포머 아키텍처를 제안한다. KITTI에서 51.3 FPS, 더 작은 Swin-T 백본에서는 83.1 FPS의 성능을 기록하며 KITTI에서 AbsRel을 6.9% 향상시키고 NYU에서 9.7% 향상시켜 최신 기술 수준을 달성한다.

ABSTRACT

Since context modeling is critical for estimating depth from a single image, researchers put tremendous effort into obtaining global context. Many global manipulations are designed for traditional CNN-based architectures to overcome the locality of convolutions. Attention mechanisms or transformers originally designed for capturing long-range dependencies might be a better choice, but usually complicates architectures and could lead to a decrease in inference speed. In this work, we propose a pure transformer architecture called SideRT that can attain excellent predictions in real-time. In order to capture better global context, Cross-Scale Attention (CSA) and Multi-Scale Refinement (MSR) modules are designed to work collaboratively to fuse features of different scales efficiently. CSA modules focus on fusing features of high semantic similarities, while MSR modules aim to fuse features at corresponding positions. These two modules contain a few learnable parameters without convolutions, based on which a lightweight yet effective model is built. This architecture achieves state-of-the-art performances in real-time (51.3 FPS) and becomes much faster with a reasonable performance drop on a smaller backbone Swin-T (83.1 FPS). Furthermore, its performance surpasses the previous state-of-the-art by a large margin, improving AbsRel metric 6.9% on KITTI and 9.7% on NYU. To the best of our knowledge, this is the first work to show that transformer-based networks can attain state-of-the-art performance in real-time in the single image depth estimation field. Code will be made available soon.

연구 동기 및 목표

• 단일 이미지 깊이 추정에서 높은 정확도를 유지하면서 실시간 추론 속도를 확보하는 데 도전한다.
• CNN이 전역 맥락을 포착하는 데 한계가 있으며, 표준 트랜스포머의 깊이 추정에서 계산 비용이 높다는 점을 극복한다.
• 컨volution과 같은 파rameter가 많은 구성 요소를 피하는 경량 순수 트랜스포머 기반 아키텍처를 설계한다.
• 깊이 추정에 적합한 효율적인 어텐션 메커니즘을 통합하여 실시간에서 최신 기술 수준의 성능을 달성한다.
• 트랜스포머 기반 모델이 이 작업에서 CNN을 능가할 수 있음을 입증한다. 정확도는 높이고 실시간 추론 속도를 유지한다.

제안 방법

• 이동 윈도우 자기어텐션을 사용하여 계층적 특징을 추출하기 위해 Swin 트랜스포머 인코더를 사용한다.
• 어텐션 스코어를 사용하여 서로 다른 스케일 간에 고의미 유사성 특징을 융합하기 위해 교차 스케일 주의(CSA)를 도입한다.
• 해당 위치 간의 공간 정렬 및 특징 정련을 위해 다중 스케일 정련(MSR)을 구현한다.
• 컨볼루션을 피하기 위해 학습 가능한 파라미터가 최소화된 CSA 및 MSR 모듈을 설계하여 계산 오버헤드를 감소시킨다.
• 순수 트랜스포머 설정에서 학습 안정성 향상과 수렴 가속화를 위해 다중 단계 감독(MSS)을 적용한다.
• 저해상도에서 고해상도 특징으로 점진적으로 깊이 예측을 정교화하는 코arse-to-fine 계층적 디코딩 전략을 사용한다.

실험 결과

연구 질문

• RQ1 순수 트랜스포머 아키텍처가 실시간 추론 속도를 유지하면서도 최신 기술 수준의 깊이 추정 성능을 달성할 수 있는가?
• RQ2 컨볼루션을 사용하지 않고도 교차 스케일 주의와 다중 스케일 정련이 전역 맥락 모델링을 얼마나 효과적으로 향상시키는가?
• RQ3 다중 단계 감독이 순수 트랜스포머 기반 깊이 추정 모델에서 학습 안정성과 성능에 어떤 영향을 미치는가?
• RQ4 이전의 CNN 기반 및 트랜스포머 기반 방법과 비교해 본다면, 제안된 아키텍처는 속도-정확도 트레이드오프에서 어떻게 성과를 내는가?
• RQ5 CSA 모듈이 기존 트랜스포머 인코더의 기본 수신 필드를 초월해 효과적 수신 필드를 얼마나 확장하는가?

주요 결과

• SideRT는 KITTI에서 51.3 FPS의 추론 속도를 기록하며 이전 최신 기술 수준 대비 AbsRel을 6.9% 향상시켰다(0.058에서 0.054로).
• NYU 데이터셋에서 SideRT는 AbsRel을 0.103에서 0.093으로 감소시켜 9.7% 향상시키며 강력한 일반화 능력을 입증했다.
• 더 작은 Swin-T 백본을 사용할 경우, SideRT는 KITTI에서 83.1 FPS, NYU에서 84.4 FPS를 기록하며 성능 저하가 미미하다.
• 제거 실험 결과, CSA 및 MSR 모듈 각각이 성능 향상에 기여하며, 특히 CSA가 효과적 수신 필드를 확장한다는 게 확인되었다.
• 다중 단계 감독(MSS)은 더 부드러운 학습 손실 곡선과 더 빠른 수렴을 이끌어내어 순수 트랜스포머 모델 학습에 필수적임을 입증했다.
• 시각화 결과, CSA가 넓은 공간 거리에 걸쳐 의미적으로 유사하고 깊이가 유사한 영역의 반응을 향상시켜 전역 맥락 모델링에서의 역할을 확인했다.