[논문 리뷰] MODETR: Moving Object Detection with Transformers

Eslam Mohamed, Ahmad El Sallab|arXiv (Cornell University)|2021. 06. 21.

Advanced Neural Network Applications참고 문헌 8인용 수 4

한 줄 요약

MODETR는 이동 객체 검출(MOD)를 위한 이중 스트림 Transformer 기반 아키텍처를 제안하며, 공간(RGB) 및 운동(광학 흐름 또는 스택드 RGB) 특징을 양 모odal 간 다중 헤드 자기주의를 통해 통합한다. DETR의 공간적 위치 인코딩을 확장하여 시간적 위치 인코딩(TPE)을 도입함으로써, KITTI MOD 데이터셋에서 최신 기술 대비 5% mAP 향상과 RGB 전용 기준 모델 대비 10% mAP 향상을 달성한다.

ABSTRACT

Moving Object Detection (MOD) is a crucial task for the Autonomous Driving pipeline. MOD is usually handled via 2-stream convolutional architectures that incorporates both appearance and motion cues, without considering the inter-relations between the spatial or motion features. In this paper, we tackle this problem through multi-head attention mechanisms, both across the spatial and motion streams. We propose MODETR; a Moving Object DEtection TRansformer network, comprised of multi-stream transformer encoders for both spatial and motion modalities, and an object transformer decoder that produces the moving objects bounding boxes using set predictions. The whole architecture is trained end-to-end using bi-partite loss. Several methods of incorporating motion cues with the Transformer model are explored, including two-stream RGB and Optical Flow (OF) methods, and multi-stream architectures that take advantage of sequence information. To incorporate the temporal information, we propose a new Temporal Positional Encoding (TPE) approach to extend the Spatial Positional Encoding(SPE) in DETR. We explore two architectural choices for that, balancing between speed and time. To evaluate the our network, we perform the MOD task on the KITTI MOD [6] data set. Results show significant 5% mAP of the Transformer network for MOD over the state-of-the art methods. Moreover, the proposed TPE encoding provides 10% mAP improvement over the SPE baseline.

연구 동기 및 목표

• 이동 객체 검출에서 공간적 특징과 운동적 특징 간 상호관계를 모델링하는 데에 2D 컨볼루션 네트워크의 한계를 해결하기 위해.
• 광학 흐름 또는 연속된 RGB 프레임에서의 운동 신호를 통합하여 DETR 아키텍처를 시공간적 특징을 처리할 수 있도록 확장하기 위해.
• Transformer가 순차적인 운동 패턴을 효과적으로 모델링할 수 있도록 시간적 인코딩 메커니즘을 설계하기 위해.
• 통합된 Transformer 프레임워크 내에서 다양한 운동 통합 전략(RGB+OF 대비 RGB+RGB)과 TPE 변종의 성능을 평가하기 위해.

제안 방법

• 공간(RGB) 및 운동(OF 또는 스택드 RGB) 특징에 대해 별도의 인코더를 갖는 이중 스트림 아키텍처로 DETR 인코더-디코더 아키텍처를 변형한다.
• 공간적 관계를 모델링하기 위해 공간적 위치 인코딩(SPE)을 사용하여 공간 스트림과 운동 스트림 양쪽 모두에서 다중 헤드 자기주의를 적용한다.
• 연속 프레임 간 시간적 동역학을 모델링할 수 있도록 SPE를 확장하는 새로운 시간적 위치 인코딩(TPE)을 도입한다.
• 두 가지 TPE 전략을 탐색한다: 조기 TPE(융합 이전 적용)와 후기 TPE(개별 프레임 인코딩 이후 적용)로, 속도와 성능의 균형을 맞춘다.
• 객체 쿼리 기반 디코더 이전에 스트림의 연결 또는 1x1 컨볼루션을 통해 융합을 수행한다.
• 세트 예측을 위한 이분 매칭 손실을 사용하여 네트워크를 엔드 투 엔드로 훈련시키며, 후처리 없이 엔드 투 엔드 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 Transformer 기반 아키텍처가 이동 객체 검출에서 공간적 특징과 운동적 특징을 효과적으로 모델링하여 2D CNN 기반 방법을 능가할 수 있는가?
• RQ2 광학 흐름과 스택드 RGB 프레임을 운동 신호로 통합할 때, Transformer 기반 MOD 시스템에서의 검출 성능에 어떤 영향을 미치는가?
• RQ3 조기 TPE 대비 후기 TPE와 같은 다양한 시간적 인코딩 전략이 이중 스트림 Transformer에서 운동 동역학을 모델링하는 데 미치는 영향은 무엇인가?
• RQ4 TPE를 통합한 수정된 DETR이 KITTI MOD 벤치마크에서 최신 기술 성능을 달성할 수 있는가?
• RQ5 MODETR의 어텐션 메커니즘이 실제로 이동 객체에 집중하는가? 그리고 다양한 입력 모odal 간에 이는 어떻게 다를까?

주요 결과

• RGB+OF 버전의 MODETR는 KITTI MOD 데이터셋에서 42.9% mAP를 기록하여 기존 최고 수준의 기술 대비 5% 향상된 성능을 달성한다.
• 제안된 시간적 위치 인코딩(TPE)은 RGB+OF 설정에서 기준 공간적 위치 인코딩(SPE) 대비 10% mAP 향상을 제공한다.
• RGB+RGB 구성 중 조기 TPE 버전은 33.3% mAP를 기록하여 후기 TPE(24.4%)를 능가하며, 조기 시간적 통합의 효과성을 입증한다.
• MODETR의 어텐션 맵은 특히 RGB+OF 설정에서 바퀴나 객체 경계와 같은 이동하는 부분에 명확히 집중되어 있으며, 운동 신호에 대한 효과적인 어텐션을 보여준다.
• 모델은 다중 작업 학습을 수행하는 MODNet 및 InstanceMotSeg보다도 동일한 벤치마크에서 더 뛰어난 성능을 보이며, 엔드 투 엔드 Transformer 설계의 이점을 입증한다.
• RGB+OF 입력을 사용한 모델은 66.3% mAP@50를 기록하여 RGB 전용 기준 모델의 48.3% mAP@50를 크게 능가하며, 명시적 운동 특징의 가치를 입증한다.