[논문 리뷰] TF-Blender: Temporal Feature Blender for Video Object Detection

Yiming Cui, Liqi Yan외 2명|arXiv (Cornell University)|2021. 08. 12.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

TF-Blender는 비디오 클립 내 모든 프레임 쌍 간의 세밀한 시간적 관계를 모델링하여 특징 표현을 향상시키는 일반적이고 플러그인 방식의 비디오 객체 검출 프레임워크이다. 시간적 관계 모듈을 통해 적응형 가중치를 계산하고, 특징 조정 모듈을 통해 공간적 세부 정보를 유지하며, 특징 블렌더를 통해 강화된 특징을 융합하여, SOTA 방법 대비 ImageNet VID에서 +0.7% mAP, YouTube-VIS에서 +1.5% mAP의 성능 향상을 달성한다.

ABSTRACT

Video objection detection is a challenging task because isolated video frames may encounter appearance deterioration, which introduces great confusion for detection. One of the popular solutions is to exploit the temporal information and enhance per-frame representation through aggregating features from neighboring frames. Despite achieving improvements in detection, existing methods focus on the selection of higher-level video frames for aggregation rather than modeling lower-level temporal relations to increase the feature representation. To address this limitation, we propose a novel solution named TF-Blender,which includes three modules: 1) Temporal relation mod-els the relations between the current frame and its neighboring frames to preserve spatial information. 2). Feature adjustment enriches the representation of every neigh-boring feature map; 3) Feature blender combines outputs from the first two modules and produces stronger features for the later detection tasks. For its simplicity, TF-Blender can be effortlessly plugged into any detection network to improve detection behavior. Extensive evaluations on ImageNet VID and YouTube-VIS benchmarks indicate the performance guarantees of using TF-Blender on recent state-of-the-art methods.

연구 동기 및 목표

• 운동 흐림, 가림, 외형 변화로 인한 특징 열화 문제를 해결하기 위해.
• 비디오 프레임 간 국소적 공간 일관성과 전반적 의미 대응성을 동시에 모델링하여 특징 표현을 향상시키기 위해.
• 기존 검출 네트워크에 최소한의 아키텍처 변경으로 통합 가능한 일반 목적 모듈을 설계하기 위해.
• 기존 방법이 현재 프레임과 인접 프레임 간의 전역 관계에만 초점을 맞추거나 고정된 프레임 집합을 사용하는 한계를 극복하기 위해.
• 공간적 구조를 유지하면서도 시간적 일관성을 향상시키는 종단간(end-to-end), 강건한 특징 융합을 가능하게 하기 위해.

제안 방법

• 시간적 관계 모듈은 클립 내 모든 프레임 쌍 간의 적응형 가중치를 학습 가능한 함수 g(fi,fj)를 사용해 계산하여 국소적 및 전역적 관계를 모두 포착한다.
• 특징 조정 모듈은 다른 인접 프레임과의 특징을 융합함으로써 인접 프레임의 특징을 향상시키며, 공간 제약 조건을 추가해 세밀한 세부 정보를 유지한다.
• 특징 블렌더는 시간적 관계 모듈과 특징 조정 모듈의 출력을 학습된 어텐션 가중치를 사용해 융합하여 더 강력하고 강건한 특징을 생성한다.
• 이 프레임워크는 ResNeXt나 Swin Transformer와 같은 어떤 검출 백본에도 재훈련 없이 삽입 가능한 경량 모듈로 구현된다.
• 다중 헤드 크로스 어텐션 메커니즘을 사용해 다른 프레임의 특징 간 유사도 점수를 계산함으로써 동적이고 맥락 인식 기반의 융합을 가능하게 한다.
• 전체 모듈는 미분 가능하며 검출 헤드와 함께 종단간으로 훈련되어 특징 학습과 검출의 공동 최적화를 보장한다.

실험 결과

연구 질문

• RQ1 비디오 클립 내 모든 프레임 간의 쌍별 시간적 관계를 모델링하면 객체 검출을 위한 특징 표현이 향상되는가?
• RQ2 특징 융합 과정에서 국소적 공간적 구조를 유지하면 외형 변화와 운동 흐림 상황에서도 검출 성능 향상이 이루어지는가?
• RQ3 기존 비디오 객체 검출기의 아키텍처 변경 최소화로도 기능을 향상시킬 수 있는 일반 목적 모듈을 설계할 수 있는가?
• RQ4 기존의 특징 융합 방법인 FGFA 및 SELSA와 비교해 제안된 방법은 정확도와 효율성 측면에서 어떻게 성능을 내는가?
• RQ5 객체 크기와 운동 속도는 제안된 방법의 성능 향상에 어떤 영향을 미치는가?

주요 결과

• TF-Blender는 최신 기술 기반 검출기와 통합했을 때 ImageNet VID 벤치마크에서 절대 mAP 향상 0.7%를 달성한다.
• YouTube-VIS 벤치마크에서는 SOTA 방법 대비 mAP를 1.5% 향상시켜 다양한 데이터셋에 걸쳐 강력한 일반화 능력을 입증한다.
• 크고 해상도가 높은 특징 맵을 갖는 큰 객체에서 가장 높은 성능 향상을 보이며, 세밀한 가중치 학습의 이점을 더 잘 활용한다.
• 천천히 움직이는 객체(테스트 세트의 37.9%)에서 가장 큰 향상이 관찰되었는데, 이는 운동 모호성과 외형 변화를 더 잘 다루고 있음을 시사한다.
• 경량 설계 덕분에 추론 비용 증가가 미미하여 속도-정확도 트레이드오���이 유리한 성능을 유지한다.
• 제거 실험 결과, 미니 네트워크의 층 수를 늘일수록 과적합이 발생하며, 3×3 커널을 가진 3층의 구조에서 최적의 성능을 낸다.