[논문 리뷰] Sequence Level Semantics Aggregation for Video Object Detection

Haiping Wu, Yuntao Chen외 2명|arXiv (Cornell University)|2019. 07. 15.

Advanced Image and Video Retrieval Techniques참고 문헌 36인용 수 39

한 줄 요약

SELSA는 비디오 객체 탐지를 위한 시퀀스 수준의 의미론적 특징 집계를 도입하여, 비디오를 전체 시퀀스에 걸친 의미론적 이웃들의 모음으로 간주하고, 복잡한 후처리 없이 ImageNet VID에서 최첨단 mAP를 달성한다.

ABSTRACT

Video objection detection (VID) has been a rising research direction in recent years. A central issue of VID is the appearance degradation of video frames caused by fast motion. This problem is essentially ill-posed for a single frame. Therefore, aggregating features from other frames becomes a natural choice. Existing methods rely heavily on optical flow or recurrent neural networks for feature aggregation. However, these methods emphasize more on the temporally nearby frames. In this work, we argue that aggregating features in the full-sequence level will lead to more discriminative and robust features for video object detection. To achieve this goal, we devise a novel Sequence Level Semantics Aggregation (SELSA) module. We further demonstrate the close relationship between the proposed method and the classic spectral clustering method, providing a novel view for understanding the VID problem. We test the proposed method on the ImageNet VID and the EPIC KITCHENS dataset and achieve new state-of-the-art results. Our method does not need complicated postprocessing methods such as Seq-NMS or Tubelet rescoring, which keeps the pipeline simple and clean.

연구 동기 및 목표

• 근접 프레임의 집계가 아니라 전체 시퀀스 정보를 활용하여 VID 성능 향상을 모티브로 삼는다.
• ROI 특징을 전체 비디오에 걸쳐 의미론적 유사성으로 집계하는 SELSA 모듈을 제안한다.
• SELSA를 스펙트럴 클러스터링과 관련지어 VID에 대한 클러스터링 기반 해석을 제공한다.
• 엔드-투-엔드 학습으로 대규모 데이터셋(ImageNet VID, EPIC KITCHENS)에서 성능 향상을 입증한다.
• Seq-NMS와 같은 후처리 기법에 대한 의존성을 줄인 것을 보여준다.

제안 방법

• 전체 비디오의 프레임에서 ROI 제안을 추출한다.
• 일반화된 코사인 유사도를 사용하여 프레임 간 제안들 간의 의미론적 유사도를 계산한다.
• 시퀀스 전체에서 의미론적으로 유사한 제안들로부터 특징을 소프트맥스 정규화 가중치를 사용해 집계한다.
• Faster R-CNN 백본에 SELSA 모듈을 삽입하고 엔드-투-엔드로 학습한다.
• 제안들이 그래프를 형성하는 스펙트럴 클러스터링 해석을 제공하고, 집계가 클래스 내 분산을 줄인다.
• 그래프 컨볼루션 네트워크(GCN)와의 관계를 논의하고, 이 방법이 집계를 이끄는 블록 대각 T를 촉진한다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 광학 흐름이나 순환적 시간 모델에 의존하지 않고도 전체 시퀀스 의미론적 집계가 VID를 개선할 수 있는가?
• RQ2 다양한 외관을 가진 비디오 프레임에서 클래스 내부 특징 분산을 효과적으로 줄이는가?
• RQ3 SELSA가 엔드-투-엔드 학습과 Seq-NMS 같은 무거운 후처리 없이도 호환되는가?
• RQ4 ImageNet VID 및 EPIC KITCHENS에서 최첨단 VID 방법들과 비교했을 때 SELSA의 성능은 어떤가?

주요 결과

방법	백본	mAP (%)
FGFA	ResNet-101	76.3
D (& T loss)	-	75.8
MANet	-	78.1
Ours	-	80.25
FGFA*	ResNet-101	78.4
MANet*	ResNet-101	80.3
ST-Lattice*	-	79.6
D&T*	-	79.8
STMN*+	-	80.5
Ours*	-	80.54
Ours △	-	82.69

• SELSA는 ResNet-101으로 ImageNet VID에서 비디오 수준 후처리 없이 80.25 mAP를 달성하여 다수의 흐름 기반 방법을 능가한다.
• ResNeXt-101로 83.11 mAP에 도달하여 포스트-처리 없이도 다수의 동시대 방법을 상회한다.
• 더 많은 프레임을 샘플링하고 전체 시퀀스의 의미론적 이웃을 이용하면 큰 이득이 있으며, 특히 빠른 모션에서 성능이 크게 향상된다(예: fast mAP가 61.38로 개선).
• 설계 구성요소 제거 실험에서 전체 시퀀스에 걸친 의미론적 집계가 단일 프레임 및 프레임 간 집계 변형들보다 유의하게 우수하다.
• 데이터 증강으로 성능이 추가로 향상되며, 예를 들어 VID 데이터 증강을 사용할 때 ResNet-101의 mAP가 +2.44 증가한다.
• Seq-NMS 후처리는 SELSA에 대해 추가 이득이 거의 없으며, 모듈이 이미 시퀀스 수준 정보를 포착하고 있음을 시사한다.