[논문 리뷰] Temporal Sentence Grounding in Videos: A Survey and Future Directions

Hao Zhang, Aixin Sun외 2명|arXiv (Cornell University)|2022. 01. 20.

Multimodal Machine Learning Applications인용 수 9

한 줄 요약

이 종합 검토는 영상 내 시간적 문장 기반 위치 특정(TSGV)에 대한 포괄적인 개요를 제공하며, 기초 개념, 현재 기술, 향후 연구 방향을 다룹니다. 다중모달 이해 및 상호작용 기법을 체계적으로 검토하고, 기존 접근 방식을 분류 체계로 정리하며, 다중모달 영상 검색 및 영상 이해 분야에서의 핵심 과제와 유망한 연구 방향을 규명합니다.

ABSTRACT

Temporal sentence grounding in videos (TSGV), \aka natural language video localization (NLVL) or video moment retrieval (VMR), aims to retrieve a temporal moment that semantically corresponds to a language query from an untrimmed video. Connecting computer vision and natural language, TSGV has drawn significant attention from researchers in both communities. This survey attempts to provide a summary of fundamental concepts in TSGV and current research status, as well as future research directions. As the background, we present a common structure of functional components in TSGV, in a tutorial style: from feature extraction from raw video and language query, to answer prediction of the target moment. Then we review the techniques for multimodal understanding and interaction, which is the key focus of TSGV for effective alignment between the two modalities. We construct a taxonomy of TSGV techniques and elaborate the methods in different categories with their strengths and weaknesses. Lastly, we discuss issues with the current TSGV research and share our insights about promising research directions.

연구 동기 및 목표

• 시간적 문장 기반 위치 특정(TSGV)를 시각-언어 작업의 기초로 체계적으로 검토하기 위해.
• 이중 단계 및 제안 기반 접근 방식에서 제안 없음, 강화 학습 기반, 약한 지도 학습 기반 기법으로의 TSGV 기법의 진화를 분석하기 위해.
• 아키텍처 및 공식 기반으로 TSGV 기법에 대한 분류 체계를 수립하여 각 범주별 강점과 한계를 부각하기 위해.
• 현재 TSGV 연구에서의 핵심 과제, 즉 일반화 능력, 평가 편향, 다중모달 쿼리에 대한 통합 프레임워크 부족 문제를 규명하기 위해.
• 영상 코퍼스 모멘트 검색(VCMR), 다국어 일반화, 오디오 및 기타 모달리티 통합과 같은 향후 연구 방향을 탐색하기 위해.

제안 방법

• 이 검토는 튜토리얼 스타일의 체계적 구조를 취하며, 원시 영상 및 자연어 쿼리에서의 특징 추출로 시작합니다.
• 영상과 언어 표현 간의 정렬을 위한 다중모달 상호작용 기법을 검토하며, 주로 교차 어텐션, 후기 상호작용, 공동 임베딩 학습에 초점을 맞춥니다.
• 방법론적 범주 기반으로 분류 체계를 수립합니다: 제안 기반, 제안 없음, 강화 학습 기반, 약한 지도 학습 기반 기법.
• 오디오, 자막, 다중모달 쿼리가 정렬 및 국소화 정확도 향상에 어떻게 기여하는지 분석합니다.
• TSGV의 확장으로서 영상 코퍼스 모멘트 검색(VCMR)을 논의하며, 대규모 영상 컬렉션에서 효율적인 영상 검색 및 순간 국소화 요구 사항을 다룹니다.
• 기존 벤치마크인 DiDeMo, Charades-STA, ActivityNet Captions, TVR, mTVR를 평가하며, 그들의 한계와 실세계 적용 가능성에 대해 논의합니다.

실험 결과

연구 질문

• RQ1 TSGV 기법은 초기 이중 단계 접근 방식에서 현대의 종단 간 모델로 어떻게 진화했는가?
• RQ2 제안 기반과 제안 없음 TSGV 기법 간의 주요 차이점과 상호 간의 상충 관계는 무엇인가?
• RQ3 현재 모델은 도메인, 언어, 영상 분포 간에 얼마나 잘 일반화되는가?
• RQ4 오디오 및 기타 모달리티는 시간적 기반 위치 특정 성능 향상에 어떻게 효과적으로 통합될 수 있는가?
• RQ5 TSGV를 대규모 영상 코퍼스(VCMR)로 확장할 때의 주요 과제는 무엇이며, 어떻게 해결할 수 있는가?

주요 결과

• TSGV는 초기에 후보 샘플링에 의존하는 이중 단계 기법에서, 깊은 다중모달 상호작용을 사용하는 더 효율적이고 정확한 종단 간 모델로 진화하였다.
• 제안 없음 기법은 계산 비용을 줄이면서도 벤치마크 데이터셋에서 경쟁적인 성능을 유지하는 데 성공했다.
• 대비 학습과 계층적 트랜스포머 기반 모델은 특히 VCMR 환경에서 영상-언어 정렬의 효율성과 정확도를 향상시켰다.
• mTVR와 같은 다국어 확장 기법은 다국어 일반화가 가능하지만 여전히 성능 격차 문제로 인해 도전 과제로 남아 있다.
• 오디오 신호와 ASR로 변환된 자막은 기존 연구들(예: Chen et al. [99])에서 표준 벤치마크에서 성능 향상을 보이며 정확도 향상에 기여한다.
• 진전이 있음에도 불구하고, 현재 모델들은 일반적으로 벤치마크 데이터에 과적합되며, 분포 이탈과 다양한 대규모 훈련 데이터 부족으로 인해 실세계 성능이 제한되어 있다.