[논문 리뷰] Text-to-Clip Video Retrieval with Early Fusion and Re-Captioning.

Huijuan Xu, Kun He외 3명|arXiv (Cornell University)|2018. 04. 13.

Multimodal Machine Learning Applications참고 문헌 50인용 수 23

한 줄 요약

이 논문은 시각과 언어 특징을 조기에 융합하여 검색 정확도와 효율성을 향상시키는 다수준 텍스트-클립 비디오 검색 모델을 제안한다. 클립 제안 생성 단계에서 텍스트 특징을 통합하고, 시각적 특징을 문장 처리 단계에서 단어 수준에서 조절함으로써, 쿼리 재생성이라는 보조 과제를 포함한 다중 과제 손실을 사용하여 Charades-STA 및 ActivityNet Captions 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We address the problem of text-based activity retrieval in video. Given a sentence describing an activity, our task is to retrieve matching clips from an untrimmed video. To capture the inherent structures present in both text and video, we introduce a multilevel model that integrates vision and language features earlier and more tightly than prior work. First, we inject text features early on when generating clip proposals, to help eliminate unlikely clips and thus speed up processing and boost performance. Second, to learn a fine-grained similarity metric for retrieval, we use visual features to modulate the processing of query sentences at the word level in a recurrent neural network. A multi-task loss is also employed by adding query re-generation as an auxiliary task. Our approach significantly outperforms prior work on two challenging benchmarks: Charades-STA and ActivityNet Captions.

연구 동기 및 목표

• 시각과 언어 특징의 조기에 밀접하게 통합함으로써 텍스트 기반 비디오 검색 성능을 향상시키기.
• 텍스트 특징을 사용해 클립 제안 생성을 유도함으로써 계산 비용을 줄이고 검색 성능을 향상시키기.
• 시각적 특징을 활용해 문장 처리 과정에서 단어 수준에서 조절함으로써 텍스트 쿼리와 비디오 클립 간의 미세한 유사도 메트릭을 학습하기.
• 다중 과제 학습을 통해 쿼리 재생성이라는 보조 과제를 도입함으로써 표현 학습을 향상시키기.
• 두 가지 과제가 어려운 비디오 검색 벤치마크인 Charades-STA 및 ActivityNet Captions에서 최신 기술 수준의 성능 달성하기.

제안 방법

• 클립 제안 생성 단계에 텍스트 특징를 통합함으로써 조기 융합를 적용하여 가능성 없는 클립을 걸러내고 처리 속도를 향상시킨다.
• 시각적 특징가 순환 신경망 내에서 문장 쿼리의 단어 수준 처리를 조절함으로써 텍스트와 비디오 간의 미세한 정렬을 가능하게 한다.
• 주 과제는 검색이고 보조 과제는 쿼리 재생성인 다중 과제 학습 프레임워크를 사용한다.
• 텍스트적 맥락이 통합된 영역 제안 네트워크를 사용해 클립 제안을 생성함으로써 관련성과 검색 공간을 향상시킨다.
• 검색 손실과 재생성 손실을 조합한 공동 손실 함수를 사용해 두 과제를 동시에 최적화한다.
• 텍스트와 비디오 모odal 간 공유 표현을 갖는 엔드 투 엔드 학습을 가능하게 하는 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 시각과 언어 특징의 조기 융합이 텍스트-클립 비디오 검색의 효율성과 정확도를 향상시킬 수 있는가?
• RQ2 문장 처리 과정에서 단어 수준에서 시각적 특징에 의해 조절되는 방식이 쿼리와 비디오 클립 간의 미세한 정렬을 어떻게 향상시키는가?
• RQ3 쿼리 재생성이라는 보조 과제를 추가함으로써 표현 학습이 얼마나 향상되는가?
• RQ4 기존의 접근 방식과 비교해 표준 벤치마크인 Charades-STA 및 ActivityNet Captions에서 제안된 방법은 어떻게 성능을 내는가?
• RQ5 클립 제안 생성 단계에서 텍스트를 통합함으로써 성능 손실 없이 계산 오버헤드를 줄일 수 있는가?

주요 결과

• 제안된 방법은 Charades-STA 벤치마크에서 최신 기술 수준의 성능을 달성하여 기존의 연구들보다 검색 정확도에서 뛰어난 성능을 보였다.
• ActivityNet Captions 데이터셋에서 기존 방법들과 비교해 모델이 검색 성능을 크게 향상시켰다.
• 조기 융합의 사용으로 후보 클립 수가 감소하여 추론 속도가 빨라지고 계산 비용이 낮아졌다.
• 쿼리 재생성이라는 보조 과제는 텍스트와 비디오 양쪽에 대해 더 강력하고 구분력 있는 표현을 학습하는 데 기여했다.
• 단어 수준에서 문장 처리 과정을 시각적 특징으로 조절함으로써 더 미세한 정렬이 가능해져 검색 정밀도가 향상되었다.
• 공동 최적화를 통한 다중 과제 학습 설정은 다양한 비디오 설명에 대해 일반화 능력과 모델의 강건성을 향상시켰다.