[논문 리뷰] PTSEFormer: Progressive Temporal-Spatial Enhanced TransFormer Towards Video Object Detection

Han Wang, Jun Tang외 4명|arXiv (Cornell University)|2022. 09. 06.

Advanced Neural Network Applications인용 수 8

한 줄 요약

PTSEFormer는 영상 객체 검출을 위한 점진적 시간-공간 강화 트랜스포머를 제안하며, 시간적 특징 집합을 위한 시간적 특징 집합 모듈(TFAM)과 공간 전이 인식을 위한 공간 전이 인식 모듈(STAM)을 통합하여 특징 표현을 향상시킨다. ResNet-101 백본을 사용할 경우 ImageNet VID에서 88.1% mAP을 달성하여 이전의 엔드 투 엔드 방법보다 4.9%의 절대 mAP 향상을 이룬다.

ABSTRACT

Recent years have witnessed a trend of applying context frames to boost the performance of object detection as video object detection. Existing methods usually aggregate features at one stroke to enhance the feature. These methods, however, usually lack spatial information from neighboring frames and suffer from insufficient feature aggregation. To address the issues, we perform a progressive way to introduce both temporal information and spatial information for an integrated enhancement. The temporal information is introduced by the temporal feature aggregation model (TFAM), by conducting an attention mechanism between the context frames and the target frame (i.e., the frame to be detected). Meanwhile, we employ a Spatial Transition Awareness Model (STAM) to convey the location transition information between each context frame and target frame. Built upon a transformer-based detector DETR, our PTSEFormer also follows an end-to-end fashion to avoid heavy post-processing procedures while achieving 88.1% mAP on the ImageNet VID dataset. Codes are available at https://github.com/Hon-Wong/PTSEFormer.

연구 동기 및 목표

• 기존 영상 객체 검출 방법에서의 일회성 특징 집합의 한계를 해결하기 위해 시간적 및 공간적 맥락을 효율적으로 활용하지 못하는 문제를 해결한다.
• 프레임 수준의 공간적 및 시간적 관계를 활용하여 운동 블러, 가림, 왜곡 등의 영상 품질 열화에 대한 탐지 강건성을 향상시킨다.
• NMS나 Tublet-Linking과 같은 복잡한 후처리를 피하기 위해 DETR 기반 아키텍처를 사용하여 엔드 투 엔드 학습 파라다임을 유지한다.
• 고정된 학습 쿼리에 의존하는 대신, 맥락 프레임에서 쿼리 위치를 회귀함으로써 객체 쿼리 학습을 향상시킨다.

제안 방법

• 목표 프레임과 맥락 프레임 간의 크로스 어텐션을 적용하여 다양한 객체 자세에 걸친 시간적 특징을 집합하는 시간적 특징 집합 모듈(TFAM)을 도입한다.
• 목표 프레임과 각 맥락 프레임 간의 객체 위치 전이를 모델링하여 특징 표현의 공간 일관성을 향상시키는 공간 전이 인식 모듈(STAM)을 제안한다.
• 트랜스포머 디코더에서 잔차 연결의 균형을 맞추기 위해 게이팅된 상관 모듈을 설계하여 특징 융합 중의 특징 불균형 문제를 완화한다.
• 맥락 프레임에서 객체 쿼리를 회귀함으로써 동적이고 맥락 기반 쿼리 초기화가 가능한 쿼리 어셈블리 모듈(QAM)을 개발한다.
• 엔드 투 엔드 학습을 유지하고 NMS나 Tublet-Linking과 같은 복잡한 후처리를 피하기 위해 DETR 기반의 단단계 검출기 기반 전체 프레임워크를 구축한다.
• 시간적 및 공간적 정보를 순차적으로 통합하는 점진적 특징 강화 전략을 통해 특징의 분류 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 시간적 및 공간적 정보의 점진적 통합이 영상 객체 검출에서 특징 표현을 향상시키는가?
• RQ2 시간 프레임 간의 객체 위치 전이를 모델링하면 가림 및 왜곡 상황에서 탐지 강건성이 어떻게 향상되는가?
• RQ3 동적 쿼리 학습을 통한 엔드 투 엔드 학습이 고정 쿼리 기반 방법보다 얼마나 뛰어나게 성능을 높일 수 있는가?
• RQ4 전용 게이팅된 상관 모듈이 트랜스포머 디코더에서 영상 검출을 위한 특징 융합의 안정성을 향상시키는가?
• RQ5 통합된 점진적 강화 전략이 시간적 및 공간적 특징 융합에서 일회성 집합 전략보다 뛰어나게 성능을 높일 수 있는가?

주요 결과

• PTSEFormer는 ImageNet VID 데이터셋에서 88.1% mAP를 달성하여 이전의 엔드 투 엔드 최고 성능 방법보다 4.9%의 절대 mAP 향상을 이룬다.
• ResNet-101 백본을 사용할 경우 후처리가 포함된 변형 대비 3.3% mAP 향상을 기록하여 엔드 투 엔드 설계의 효과를 입증한다.
• 시각화 결과 시간 기억(Tt)이 배경-전경 분리 능력을 향상시키고, 최종 강화된 기억(Rt)이 객체 정위치 예측 신뢰도를 향상시킨다.
• 모델은 가림 및 왜곡 상황에서도 뛰어난 강건성을 보이며, 예를 들어 얼굴가림으로 인해 단일 프레임 기반 기준이 고양이로 잘못 분류하는 토끼를 정확히 식별한다.
• STAM 모듈은 두头 백상어처럼 가까이 붙어 있는 객체를 더 잘 탐지할 수 있도록 공간 전이 신호를 활용하여 겹치는 인스턴스를 더 잘 구분한다.
• 절단 분석 결과 TFAM과 STAM이 성능 향상에 크게 기여하며, 단일 단계 집합 전략에 비해 점진적 융합 전략이 우수한 성능을 낸다.