[논문 리뷰] Tripping through time: Efficient Localization of Activities in Videos

Meera Hahn, Asim Kadav외 2명|arXiv (Cornell University)|2019. 04. 22.

Multimodal Machine Learning Applications참고 문헌 20인용 수 41

한 줄 요약

TripNet은 게이트드-어텐션 표상과 32-41%의 비디오만 탐색하는 강화를 학습 기반 검색을 사용하여 긴 미다듬기 영상에서 자연어 질의에 의해 순간을 로컬라이즈하며, 높은 정확도를 달성합니다.

ABSTRACT

Localizing moments in untrimmed videos via language queries is a new and interesting task that requires the ability to accurately ground language into video. Previous works have approached this task by processing the entire video, often more than once, to localize relevant activities. In the real world applications of this approach, such as video surveillance, efficiency is a key system requirement. In this paper, we present TripNet, an end-to-end system that uses a gated attention architecture to model fine-grained textual and visual representations in order to align text and video content. Furthermore, TripNet uses reinforcement learning to efficiently localize relevant activity clips in long videos, by learning how to intelligently skip around the video. It extracts visual features for few frames to perform activity classification. In our evaluation over Charades-STA, ActivityNet Captions and the TACoS dataset, we find that TripNet achieves high accuracy and saves processing time by only looking at 32-41% of the entire video.

연구 동기 및 목표

• 긴 미다듬기 영상에서 자연어로 설명된 행동을 시간적으로 로컬라이즈하는 문제를 해결한다.
• 언어를 세밀한 비디오 특징에 매핑하는 엔드-투-엔드 프레임워크를 개발한다.
• 비본질적인 프레임을 지능적으로 건너뛰는 정책을 학습하여 효율성을 향상시킨다.

제안 방법

• 언어 질의를 비디오 특징과 정렬하는 게이트드-어텐션 상태 표현을 갖춘 TripNet를 제안한다.
• 고정 크기의 후보 윈도우를 비디오 위로 이동시키는 정책을 학습하기 위해 액터-크리틱 강화학습 프레임워크(A3C)를 사용한다.
• 사전에 정의된 프레임 간격으로 윈도를 점프하는 이산 액션 공간과 현재 윈도를 출력하는 TERMINATE 액션을 정의한다.
• IOU의 개선과 단계 수에 대한 작은 페널티를 결합한 보상을 도입하여 효율성을 촉진한다.
• 시각적 및 텍스트 모달리티가 정책 학습 전에 융합되도록 모델을 엔드투엔드로 학습한다.
• 게이트드 어텐션 TripNet과 연결(concatenation) 기반의 TripNet-Concat을 비교하여 게이트드 어텐션의 이점을 입증한다.

실험 결과

연구 질문

• RQ1 TripNet이 긴 비디오에서 자연어로 설명된 순간을 정확하게 로컬라이즈할 수 있는가?
• RQ2 게이트드 어텐션 융합 모델이 단순한 특징 연결보다 로컬라이제이션 정확도를 향상시키는가?
• RQ3 강력한 로컬라이제이션 성능을 달성하면서 비디오에서 얼마나 많은 구간을 건너뛸 수 있는가?
• RQ4 표준 벤치마크에서 정확도와 효율성 측면에서 이전 TALL 방법들과 비교하여 TripNet은 어떠한가?

주요 결과

• TripNet은 Charades-STA, ActivityNet Captions, TACoS 데이터셋에서 최첨단 또는 경쟁력 있는 정확도를 달성한다.
• TripNetLocalizes moments while inspecting only 32-41% of the video on average, significantly increasing efficiency.
• TripNet-GA (gated attention) outperforms TripNet-Concat, demonstrating the effectiveness of multi-modal gated fusion.
• On Charades-STA and TACoS, TripNet outperforms prior methods; on ActivityNet Captions, it is comparable to the state of the art.
• The approach reduces overall video processing time by avoiding exhaustive frame-by-frame analysis while maintaining high localization accuracy.