[논문 리뷰] Recurrent Vision Transformers for Object Detection with Event Cameras

Mathias Gehrig, Davide Scaramuzza|Zurich Open Repository and Archive (University of Zurich)|2022. 12. 11.

Advanced Memory and Neural Computing인용 수 7

한 줄 요약

이 논문은 이벤트 기반 객체 검출을 위한 새로운 백본으로 Recurrent Vision Transformers (RVTs)를 소개한다. Gen1 데이터셋에서 SOTA mAP 47.2%를 달성하면서 T4 GPU에서 추론 시간을 12ms 이내로 줄이고, 이전 방법 대비 파rameter 수를 5배 감소시켰다. 이는 순환 컨볼루션 편향, 국소 및 확장된 전역 자기주의, 그리고 Conv-LSTM 대신 일반 LSTM을 사용한 효율적인 순환 특징 집약을 조합한 다단계 설계 덕분이다.

ABSTRACT

We present Recurrent Vision Transformers (RVTs), a novel backbone for object detection with event cameras. Event cameras provide visual information with sub-millisecond latency at a high-dynamic range and with strong robustness against motion blur. These unique properties offer great potential for low-latency object detection and tracking in time-critical scenarios. Prior work in event-based vision has achieved outstanding detection performance but at the cost of substantial inference time, typically beyond 40 milliseconds. By revisiting the high-level design of recurrent vision backbones, we reduce inference time by a factor of 6 while retaining similar performance. To achieve this, we explore a multi-stage design that utilizes three key concepts in each stage: First, a convolutional prior that can be regarded as a conditional positional embedding. Second, local and dilated global self-attention for spatial feature interaction. Third, recurrent temporal feature aggregation to minimize latency while retaining temporal information. RVTs can be trained from scratch to reach state-of-the-art performance on event-based object detection - achieving an mAP of 47.2% on the Gen1 automotive dataset. At the same time, RVTs offer fast inference (<12 ms on a T4 GPU) and favorable parameter efficiency (5 times fewer than prior art). Our study brings new insights into effective design choices that can be fruitful for research beyond event-based vision.

연구 동기 및 목표

• 이벤트 카메라의 초저지연 잠재력과 기존 검출 모델의 높은 추론 시간(>40ms) 사이의 격차를 해소한다.
• 고성능 검출 정확도를 유지하면서 계산 지연과 파라미터 수를 크게 줄이는 비전 트랜스포머 백본을 설계한다.
• 특히 순환성과 주의 메커니즘을 포함한 매크로 수준의 아키텍처 선택이 일반 GPU에서 특수 하드웨어 없이도 효율적인 실시간 추론을 가능하게 하는지 탐색한다.
• 자율주행과 같은 시간이 중요한 응용 분야에서 성능, 추론 속도, 파라미터 효율성 간의 유리한 트레이드오프를 달성한다.

제안 방법

• 각 스테이지에서 공간적 인덕티브 바이어스를 제공하고 조건부 위치 임베딩으로 작용하는 컨볼루션 편향을 적용하는 계층적 다단계 백본을 제안한다.
• 입력 해상도에 대해 선형 복잡도를 가지며 국소 및 장거리 공간적 종속성을 효율적으로 포착하는 국소 및 확장된 전역 자기주의 메커니즘을 통합한다.
• 계산 비용이 높은 Conv-LSTM 셀을 대체하여 경량의 채널별 일반 LSTMs를 사용하여 파라미터와 지연 시간을 줄인 효율적인 시간적 특징 집약을 실현한다.
• 기존 객체 검출 파ip라인과의 호환성을 확보하기 위해 표준 검출 프레임워크를 사용해 전체 RVT 아키텍처를 처음부터 훈련시킨다.
• PyTorch의 JIT 컴파일을 활용해 추론 속도를 추가로 가속화하며, 특히 고성능 GPU에서 작은 모델의 경우 3ms 이내의 추론 시간을 달성한다.
• 전체 백본을 구축하기 위해 네 단계에 걸쳐 동일한 재사용 가능한 스테이지 설계를 반복 적용하여 배포 및 하이퍼파ram터 튜닝을 단순화한다.

Figure 1 : Detection performance vs inference time of our RVT models on the 1 Mpx detection dataset using a T4 GPU. The circle areas are proportional to the model size.

실험 결과

연구 질문

• RQ1 비전 트랜스포머 기반 백본은 표준 GPU에서 이벤트 기반 객체 검출에서 높은 정확도와 낮은 추론 지연을 동시에 달성할 수 있는가?
• RQ2 Conv-LSTM을 일반 LSTMs로 대체할 경우 이벤트 기반 검출에서 성능과 효율성에 어떤 영향을 미치는가?
• RQ3 국소 및 확장된 전역 자기주의는 이벤트 스트림에서 스파티오토럴 특징을 모델링하는 데 있어 기존의 컨볼루션 또는 그래프 기반 연산을 얼마나 효과적으로 대체할 수 있는가?
• RQ4 강력한 컨볼루션 편향이 이벤트 데이터를 위한 트랜스포머 기반 아키텍처에서 효과적인 조건부 위치 임베딩으로 기능할 수 있는가?
• RQ5 순환성 배치 및 주의 유형과 같은 아키텍처의 매크로 설계 선택이 이벤트 기반 비전에서 성능-지연 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• RVT는 Gen1 자동차 데이터셋에서 이전 방법들인 ASTMNet 및 RED를 능가하는 새로운 SOTA mAP 47.2%를 달성한다.
• 기본 RVT 모델은 T4 GPU에서 Gen1 데이터셋에서 10.2ms, 1Mpx 데이터셋에서 11.9ms의 추론 시간을 기록하며, 이는 이전 SOTA 방법 대비 6배의 지연 감소를 의미한다.
• PyTorch의 JIT 컴파일을 활용하면 RTX 3090 GPU에서 기본 모델이 1Mpx 데이터셋에서 2.8ms 이내의 추론 시간을 달성한다.
• 티니 RVT 모델은 Gen1 데이터셋에서 RED 모델 대비 4.1% 높은 mAP를 기록하면서 파라미터 수를 5배 줄였다(18.5M vs. 92M).
• RVT 백본은 이전 기술의 100M에서 18.5M로 파라미터 수를 줄여 성능 손실 없이 5배의 파라미터 효율성 향상을 달성한다.
• 이벤트가 없는 간격 동안에도 모델은 강력한 검출 성능를 유지하지만, 이벤트가 전혀 없을 경우 성능이 저하됨을 확인하여 향후 작업에서 프레임과의 다중모달 융합이 필요할 것으로 보인다.

Figure 2 : Overview of the unrolled computation graph of our multi-stage recurrent backbone. Events are processed into a tensor representation before they are used as input to the first stage. Each stage also reuses the LSTM states (c: cell, h: hidden) from the previous timestep. Finally, the detect