[논문 리뷰] Dynamic Temporal Pyramid Network: A Closer Look at Multi-Scale Modeling for Activity Detection

Da Zhang, Xiyang Dai외 1명|arXiv (Cornell University)|2018. 08. 07.

Human Pose and Action Recognition참고 문헌 36인용 수 7

한 줄 요약

이 논문은 동적 시간 피라미드 네트워크(DTPN)를 제안하며, 단일 스텝, 엔드 투 엔드 프레임워크로서 다중 척도 모델링 과제를 동적 프레임 샘플링, 이중 분지 다중 척도 특징 계층, 그리고 국소 및 전반적 시간적 맥락의 명시적 융합을 통해 해결한다. DTPN은 ActivityNet에서 0.5 IoU 기준 41.44% mAP의 최고 성능을 달성하며, 단일 GPU에서 각 비디오를 단지 0.5초 내에 처리한다.

ABSTRACT

Recognizing instances at different scales simultaneously is a fundamental challenge in visual detection problems. While spatial multi-scale modeling has been well studied in object detection, how to effectively apply a multi-scale architecture to temporal models for activity detection is still under-explored. In this paper, we identify three unique challenges that need to be specifically handled for temporal activity detection compared to its spatial counterpart. To address all these issues, we propose Dynamic Temporal Pyramid Network (DTPN), a new activity detection framework with a multi-scale pyramidal architecture featuring three novel designs: (1) We sample input video frames dynamically with varying frame per seconds (FPS) to construct a natural pyramidal input for video of an arbitrary length. (2) We design a two-branch multi-scale temporal feature hierarchy to deal with the inherent temporal scale variation of activity instances. (3) We further exploit the temporal context of activities by appropriately fusing multi-scale feature maps, and demonstrate that both local and global temporal contexts are important. By combining all these components into a uniform network, we end up with a single-shot activity detector involving single-pass inferencing and end-to-end training. Extensive experiments show that the proposed DTPN achieves state-of-the-art performance on the challenging ActvityNet dataset.

연구 동기 및 목표

• 비트림 비디오에서 시간적 척도가 매우 다양한 활동을 탐지하는 과제를 해결하기 위해.
• 짧고 긴 지속 시간을 가진 활동을 효과적으로 모델링할 수 있는 다중 척도 시간 특징 계층을 설계하기 위해.
• 국소 및 전반적 시간적 맥락을 명시적으로 통합하여 정확도를 향상시키기 위해.
• 단일 스텝, 엔드 투 엔드 방식으로 최고 성능을 달성하면서도 높은 추론 효율성을 유지하기 위해.

제안 방법

• 짧은 또는 긴 범위의 시간적 구조를 잃지 않도록, 다양한 프레임 속도(예: 16, 64, 256 FPS)로 입력 비디오를 동적으로 샘플링하여 자연스러운 피라미드 특징 표현을 구성하기 위해.
• 각 척도에서 별도의 시간적 컨볼루션 및 시간적 풀링 분지로 이루어진 이중 분지 아키텍처를 통해 국소화 및 분류에 특화된 학습을 가능하게 하기 위해.
• 양 분지의 특징을 후기 융합하여 최종 검출 예측을 생성함으로써 정확도와 강건성을 향상시키기 위해.
• 특징 계층의 적절한 계층에서 국소 시간적 맥락(즉각적인 주변 순간들)과 전반적 시간적 맥락(전체 비디오 지속 시간)을 연결하여 명시적 융합하기 위해.
• 임의의 길이의 입력 비디오를 처리하기 위해 고정 크기의 특징 피라미드를 사용하여 확장성과 일관된 입력 표현을 보장하기 위해.
• 단일 순방향 전파를 통한 엔드 투 엔드 훈련을 통해 효율적인 추론과 다양한 백본 네트워크와의 호환성을 확보하기 위해.

실험 결과

연구 질문

• RQ1 임의의 길이의 입력 비디오에 대해 시간적 구조를 손실 없이 다중 척도 시간 특징 표현을 어떻게 구성할 수 있는가?
• RQ2 짧고 긴 지속 시간의 활동 인스턴스를 통합된 프레임워크에서 효과적으로 모델링할 수 있는 최적의 아키텍처는 무엇인가?
• RQ3 국소 및 전반적 시간적 맥락은 활동 검출 정확도 향상에 어떻게 기여하는가?
• RQ4 단일 스텝, 엔드 투 엔드 네트워크가 고성능을 달성하면서도 높은 추론 효율성을 유지할 수 있는가?

주요 결과

• DTPN은 ActivityNet 데이터셋에서 0.5 IoU 기준 41.44% mAP를 달성하여 이전 최고 성능 방법들을 능가한다.
• 시간적 컨볼루션 + 시간적 풀링의 이중 분지 아키텍처는 단일 분지 설계 대비 mAP를 5% 이상 향상시키며, TPool 전용 설계 대비 24.07% mAP 대비 17.12% mAP를 기록한다.
• 국소 및 전반적 시간적 맥락을 모두 통합하면 mAP가 25.72%로 상승하여 단일 맥락 유형을 사용하는 모델을 능가한다.
• 밀도 높은 샘플링과 희소한 샘플링의 조합(256 + 64 + 16 FPS)이 가장 뛰어난 성능을 내며, 단독으로 밀도 높거나 희소한 샘플링을 사용하는 방법보다 뛰어나다.
• DTPN은 단일 GTX 1080 Ti GPU에서 각 비디오를 0.5초 내에 처리하여, 이전 방법들(예: Xu 등 [31]의 3.2초)보다 훨씬 빠르다.
• 정성적 결과는 DTPN이 복잡하고 다양한 비디오 스트림에서 길이와 시간적 위치가 다른 여러 활동을 안정적으로 탐지함을 보여준다.