[논문 리뷰] S3D: Single Shot multi-Span Detector via Fully 3D Convolutional Networks

Da Zhang, Xiyang Dai외 2명|arXiv (Cornell University)|2018. 07. 21.

Anomaly Detection Techniques and Applications인용 수 3

한 줄 요약

S3D는 전체 영상에서 활동 구간과 그 정확한 지속 시간을 직접 예측하는 완전 3차원 합성곱 네트워크를 사용하는 단일 스텝, 엔드 투 엔드 시간 활동 탐지 시스템을 제안한다. 이는 THUMOS'14에서 1271 FPS의 성능을 기록하며, 더 단순한 통합 아키텍처로 다단계 방법을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we present a novel Single Shot multi-Span Detector for temporal activity detection in long, untrimmed videos using a simple end-to-end fully three-dimensional convolutional (Conv3D) network. Our architecture, named S3D, encodes the entire video stream and discretizes the output space of temporal activity spans into a set of default spans over different temporal locations and scales. At prediction time, S3D predicts scores for the presence of activity categories in each default span and produces temporal adjustments relative to the span location to predict the precise activity duration. Unlike many state-of-the-art systems that require a separate proposal and classification stage, our S3D is intrinsically simple and dedicatedly designed for single-shot, end-to-end temporal activity detection. When evaluating on THUMOS'14 detection benchmark, S3D achieves state-of-the-art performance and is very efficient and can operate at 1271 FPS.

연구 동기 및 목표

• 제안 및 분류 단계를 별도로 필요로 하지 않는 통합형 엔드 투 엔드 프레임워크를 개발하는 것.
• 완전 3D 합성곱 네트워크를 활용해 장시간의 비정형 영상에서 고속 추론을 가능하게 하는 것.
• 다양한 시간적 스케일에서 기본 스포츠를 기반으로 정밀한 활동 경계를 직접 회귀시켜 정확도를 향상시키는 것.
• 더 단순한 단일 스텝 아키텍처로 표준 벤치마크(예: THUMOS'14)에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• S3D는 전체 영상 클립을 인코딩하기 위해 완전 3D 합성곱 네트워크(Conv3D)를 사용하여 스파atiotemporal 특징을 엔드 투 엔드로 캡처한다.
• 잠재적인 활동 지속 시간을 커버하기 위해 다양한 시간적 위치와 스케일에서 기본 스포츠의 집합으로 출력 공간을 이산화한다.
• 각 기본 스포츠에 대해 활동 카테고리 존재 확률과 시작 및 종료 시간을 정밀화하기 위한 오프셋을 회귀 예측한다.
• 단일 순방향 프로세스를 통해 학습되며, 제안 생성과 분류의 공동 학습이 가능하다.
• 기본 스포츠에서 분류 및 회귀 목표를 통합한 다중 작업 손실을 통해 최적화한다.

실험 결과

연구 질문

• RQ1 완전 3D 합성곱 네트워크는 고속 추론을 유지하면서도 시간 활동 탐지에서 최신 기술 수준의 성능를 달성할 수 있는가?
• RQ2 단일 스텝, 엔드 투 엔드 아키텍처는 정확도와 효율성 면에서 다단계 파이프라인을 능가하는가?
• RQ3 다양한 시간적 스케일과 위치에서의 기본 스포츠가 비정형 영상 내 다양한 활동 지속 시간을 효과적으로 커버할 수 있는가?
• RQ4 경계 조정을 위한 회귀 헤드 통합이 고정된 앵커 접근 방식에 비해 국소화 정밀도를 어떻게 향상시키는가?

주요 결과

• S3D는 THUMOS'14 시간 활동 탐지 벤치마크에서 최신 기술 수준의 성능를 달성했다.
• 모델는 1271 FPS로 작동하여 실시간 응용 분야에서 뛰어난 추론 효율성을 입증했다.
• 단일 스텝, 엔드 투 엔드 아키텍처는 별도의 제안 생성 및 분류 단계가 필요 없음을 보여주었다.
• 완전 3D 합성곱의 사용은 원시 영상 클립에서 효과적인 스파atiotemporal 특징 학습을 가능하게 하였다.