[논문 리뷰] Event-based Monocular Dense Depth Estimation with Recurrent Transformers

Xu Liu, Jianing Li외 2명|arXiv (Cornell University)|2022. 12. 06.

Advanced Memory and Neural Computing인용 수 5

한 줄 요약

이 논문은 이벤트 카메라를 위한 순수 트랜스포머 기반 단안 깊이 추정기인 EReFormer을 제안한다. 공간 트랜스포머 융합(STF) 모듈을 사용해 전역적 맥락을 모델링하고, 게이트 순환 비전 트랜스포머(GRViT) 유닛을 통해 연속적인 이벤트 스트림의 장거리 시간적 의존성을 효율적으로 활용한다. EReFormer은 합성(DENSE) 및 실세계(MVSEC) 데이터셋에서 모두 최신 기술 수준(SOTA) 성능을 달성하며, 기존 방법들보다 뚜렷한 성능 향상을 보이며 GPU 메모리 비용도 감소시킨다.

ABSTRACT

Event cameras, offering high temporal resolutions and high dynamic ranges, have brought a new perspective to address common challenges (e.g., motion blur and low light) in monocular depth estimation. However, how to effectively exploit the sparse spatial information and rich temporal cues from asynchronous events remains a challenging endeavor. To this end, we propose a novel event-based monocular depth estimator with recurrent transformers, namely EReFormer, which is the first pure transformer with a recursive mechanism to process continuous event streams. Technically, for spatial modeling, a novel transformer-based encoder-decoder with a spatial transformer fusion module is presented, having better global context information modeling capabilities than CNN-based methods. For temporal modeling, we design a gate recurrent vision transformer unit that introduces a recursive mechanism into transformers, improving temporal modeling capabilities while alleviating the expensive GPU memory cost. The experimental results show that our EReFormer outperforms state-of-the-art methods by a margin on both synthetic and real-world datasets. We hope that our work will attract further research to develop stunning transformers in the event-based vision community. Our open-source code can be found in the supplemental material.

연구 동기 및 목표

• 비동기적 이벤트 스트림으로부터 흐린 공간 정보와 풍부한 시간적 신호를 효과적으로 모델링하는 데 도전한다.
• 지역적 수신장으로 인해 전역 맥락을 포착하지 못하는 CNN 기반 방법의 한계를 극복한다.
• 과도한 GPU 메모리 비용 없이 장거리 시간적 의존성을 효율적으로 활용할 수 있는 트랜스포머 기반 아키텍처를 설계한다.
• 이벤트 스트림의 연속적 처리를 가능하게 하기 위해 트랜스포머에 재귀 메커니즘을 도입하여 조밀한 깊이 예측을 실현한다.
• 운동 왜곡과 저조도와 같은 도전적인 조건에서 이벤트 카메라 기술과 실용적인 단안 깊이 추정 간 격차를 메운다.

제안 방법

• 희박한 이벤트에서 전역 공간 맥락을 모델링하기 위해 스위프 트랜스포머 블록을 사용한 트랜스포머 기반 인코더-디코더 백본을 제안한다.
• 다중 스케일 특징을 융합하기 위한 스킵 커넥션으로 공간 트랜스포머 융합(STF) 모듈을 도입하여 공간적 맥락 표현을 향상시킨다.
• 재귀 메커니즘을 트랜스포머에 통합한 게이트 순환 비전 트랜스포머(GRViT) 유닛을 설계하여 효율적인 시간 모델링을 가능하게 한다.
• GRViT에서 업데이트 게이트 메커니즘을 사용해 은닉 상태를 선택적으로 유지하거나 무시함으로써 시간 정보 유지와 메모리 효율성 간 균형을 이룬다.
• 보폭화된 이벤트 격자에서 지도 학습 방식으로 모델을 종합적으로 훈련하여 조밀한 깊이 맵을 예측한다.
• STF와 GRViT를 통합해 이벤트 스트림의 공간적 및 시간적 모델링을 동시에 수행하는 통합 EReFormer 프레임워크를 구성한다.

실험 결과

연구 질문

• RQ1 순수 트랜스포머 아키텍처가 흐린 비동기 이벤트 데이터에서 단안 깊이 추정의 전역 공간 맥락을 효과적으로 모델링할 수 있는가?
• RQ2 GPU 메모리 사용을 최소화하면서도 연속적인 이벤트 스트림을 효율적으로 처리할 수 있도록 재귀 메커니즘을 트랜스포머에 통합하는 방법은 무엇인가?
• RQ3 이브넷 기반 인코더-디코더에서 다중 스케일 특징을 융합하는 데 최적의 전략은 무엇인가?
• RQ4 제안된 GRViT 유닛은 장거리 시간적 의존성을 모델링할 때 표준 어텐션 메커니즘과 잔여 연결에 비해 어떻게 성능을 냅니다?
• RQ5 도전적인 조건에서 이브넷 기반 단안 깊이 추정에서 트랜스포머 기반 접근이 CNN 기반 SOTA 방법을 능가할 수 있는가?

주요 결과

• STF 모듈을 사용할 경우 기준 모델 대비 절대 상대 오차(Abs.Rel.)가 3.3% 향상되어 특징 융합의 효과를 입증한다.
• GRViT 유닛은 기준 모델 대비 Abs.Rel.을 8.2% 감소시켜 시간 모델링에서의 우수성을 입증한다.
• 10m, 20m, 30m 거리에서 각각 ADD 및 CONCAT 연산보다 4.1%, 5.1%, 3.6% 향상되었으며, 유사한 추론 속도를 유지한다.
• GRViT의 업데이트 게이트 메커니즘이 가장 높은 성능(Abs.Rel. = 0.271)을 기록했으며 잔여 및 어텐션 연산보다 빠르다.
• MVSEC 실외 일지 1번 시퀀스에서 EReFormer은 Abs.Rel. 0.271을 기록했으며, ADD, CONCAT 및 잔여 연결을 사용한 모든 비교 방법들을 능가한다.
• EReFormer은 낮은 추론 지연(27.43ms)을 유지하며 고속 운동 및 저조도 환경에서도 뛰어난 성능을 보이며 실용성을 입증한다.