[논문 리뷰] ExCL: Extractive Clip Localization Using Natural Language Descriptions

Soham Ghosh, Anuva Agarwal외 2명|arXiv (Cornell University)|2019. 04. 04.

Video Analysis and Summarization인용 수 78

한 줄 요약

ExCL은 자연어 쿼리에 따라 비디오 클립의 정확한 시작 프레임과 종료 프레임을 학습된 교차 모달 상호작용으로 예측하여 TACoS와 ActivityNet에서 이전 랭킹 기반 방법을 능가하고 Charades-STA에서는 매칭합니다. 이는 세 가지 스팬 예측기 변형을 모델링하고 분류 및 회귀 목적을 모두 사용합니다.

ABSTRACT

The task of retrieving clips within videos based on a given natural language query requires cross-modal reasoning over multiple frames. Prior approaches such as sliding window classifiers are inefficient, while text-clip similarity driven ranking-based approaches such as segment proposal networks are far more complicated. In order to select the most relevant video clip corresponding to the given text description, we propose a novel extractive approach that predicts the start and end frames by leveraging cross-modal interactions between the text and video - this removes the need to retrieve and re-rank multiple proposal segments. Using recurrent networks we encode the two modalities into a joint representation which is then used in different variants of start-end frame predictor networks. Through extensive experimentation and ablative analysis, we demonstrate that our simple and elegant approach significantly outperforms state of the art on two datasets and has comparable performance on a third.

연구 동기 및 목표

• 랭킹 기반 접근법이 고정된 후보 클립에 의존하는 문제점을 지적하며 추출형 클립 로컬라이제이션의 필요성을 제시한다.
• 텍스트-비디오 상호작용으로부터 시작 프레임과 종료 프레임을 직접 예측하는 모듈형 교차 모달 프레임워크를 제안한다.
• 다양한 데이터세트에서 서로 다른 스팬-예측기 아키텍처와 학습 목적을 평가한다.
• 시간적 맥락을 포함한 추출형 모델이 강력한 성능을 내고 데이터세트 간 일반화가 가능함을 보여준다.

제안 방법

• GloVe 임베딩을 이용한 양방향 LSTM으로 텍스트를 인코딩하여 문장 임베딩을 얻는다.
• I3D 특징에 대한 양방향 LSTM으로 비디오를 인코딩하여 시간적 맥락을 포착한다.
• 세 가지 스팬-예측기 변형(MLP, Tied-LSTM, Conditioned-LSTM)을 사용해 프레임별 시작/종료 점수를 계산한다.
• 분류 손실(softmax으로 정규화된 시작/종료 확률) 또는 회귀 손실(소프트맥스 분포에 대한 기대값) 중 하나로 학습한다.
• 회귀의 경우 masked 로짓에 대해 SoftMax를 통해 P(end|start)를 모델링하고 시작/종료의 기대 시간을 예측값으로 사용한다.

실험 결과

연구 질문

• RQ1 추출형 엔드-투-엔드 모델이 여러 제안(proposals)을 랭킹하지 않고 자연어 쿼리로 정확한 비디오 클립을 찾을 수 있는가?
• RQ2 다양한 교차 모달 스팬-예측기 아키텍처가 서로 다른 데이터세트에서 로컬라이제이션 정확도에 어떤 영향을 미치는가?
• RQ3 정확한 시간적 로컬라이제이션을 위해 분류 목적보다 회귀 목적이 유리한가?
• RQ4 길이가 다른 비디오와 어휘를 가진 데이터세트에서 모델의 성능은 어떻게 달라지는가?
• RQ5 비디오 LSTM 인코더를 포함하는 것이 성능에 미치는 영향은 무엇인가?

주요 결과

데이터셋	IoU=0.3	IoU=0.5	IoU=0.7
TACoS	22.6	12.6	5.1
TACoS	42.0	25.0	12.3
TACoS	41.9	25.5	13.6
TACoS	41.7	26.0	12.9
TACoS	44.2	28.0	14.6
TACoS	44.4	27.8	14.6
TACoS	26.2	11.9	4.8
TACoS	45.2	27.5	12.9
TACoS	41.4	24.8	11.4
TACoS	42.2	27.2	11.7
TACoS	45.5	28.0	13.8
TACoS	42.3	27.3	12.5
Charades-STA	55.4	30.4	12.1
Charades-STA	64.7	43.8	23.0
Charades-STA	64.2	43.9	23.4
Charades-STA	64.6	41.5	23.1
Charades-STA	65.1	44.1	23.4
Charades-STA	61.4	41.8	22.4
ActivityNet	42.5	23.8	12.1
ActivityNet	60.7	40.9	23.4
ActivityNet	60.7	40.9	23.4
ActivityNet	60.4	40.5	23.1
ActivityNet	61.1	41.3	23.4
ActivityNet	62.1	41.6	23.9
ActivityNet	48.4	27.0	11.0
ActivityNet	63.0	43.6	23.6
ActivityNet	61.5	42.7	23.4
ActivityNet	61.5	41.9	23.3
ActivityNet	62.3	42.7	24.1
ActivityNet	61.4	41.7	22.4

• 추출형 모델이 TACoS와 ActivityNet에서 기존의 랭킹 기반 베이스라인을 크게 능가합니다.
• 비디오 LSTM을 도입하면 성능이 현저히 개선되며, 순환 인코딩을 갖는 스팬-예측기(특히 연결된 LSTM)가 데이터세트 전반에서 강한 결과를 보입니다.
• 회귀 학습은 분류와 비교해 동등하거나 약간 더 나은 결과를 제공하며 정보 손실이 없었습니다.
• 비디오 LSTM이 없으면 교차 모달 상호작용을 포착하기 위해 순환 스팬 예측기가 필수적입니다.
• Tied-LSTM 스팬 예측기가 일반적으로 데이터세트와 설정 전반에서 최상위 또는 거의 최상위 결과를 제공합니다.
• 특성상 TACoS는 높은 시간 정확도 요구로 인해 여전히 가장 어려운 벤치마크로 남아 있습니다.