[논문 리뷰] You Can Ground Earlier than See: An Effective and Efficient Pipeline for Temporal Sentence Grounding in Compressed Videos

Xiang Fang, Daizong Liu외 2명|arXiv (Cornell University)|2023. 03. 14.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 논문은 I-프레임, 운동벡터, 잔차 특징을 사용하여 압축 비디오 비트스트림을 직접 처리함으로써 전체 복원 없이도 효율적이고 효과적인 기준 설정을 가능하게 하는 새로운 압축 도메인 시간 문장 기반 설정 프레임워크인 TCSF를 제안한다. 이 방법은 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 계산 복잡도가 크게 감소한다.

ABSTRACT

Given an untrimmed video, temporal sentence grounding (TSG) aims to locate a target moment semantically according to a sentence query. Although previous respectable works have made decent success, they only focus on high-level visual features extracted from the consecutive decoded frames and fail to handle the compressed videos for query modelling, suffering from insufficient representation capability and significant computational complexity during training and testing. In this paper, we pose a new setting, compressed-domain TSG, which directly utilizes compressed videos rather than fully-decompressed frames as the visual input. To handle the raw video bit-stream input, we propose a novel Three-branch Compressed-domain Spatial-temporal Fusion (TCSF) framework, which extracts and aggregates three kinds of low-level visual features (I-frame, motion vector and residual features) for effective and efficient grounding. Particularly, instead of encoding the whole decoded frames like previous works, we capture the appearance representation by only learning the I-frame feature to reduce delay or latency. Besides, we explore the motion information not only by learning the motion vector feature, but also by exploring the relations of neighboring frames via the residual feature. In this way, a three-branch spatial-temporal attention layer with an adaptive motion-appearance fusion module is further designed to extract and aggregate both appearance and motion information for the final grounding. Experiments on three challenging datasets shows that our TCSF achieves better performance than other state-of-the-art methods with lower complexity.

연구 동기 및 목표

• 기존 시간 문장 기반 설정(TSG) 방법들이 전체 비디오 복원이 필요로 하여 효율성이 떨어지고 계산 비용이 높은 문제를 해결하기 위해.
• 모델이 압축된 비디오 비트스트림을 직접 처리하는 것—즉, 복원된 프레임 대신—압축 도메인 TSG라는 새로운 실용적 설정을 탐색하기 위해.
• 텍스트 쿼리와 비디오 세그먼트 간의 정확한 다중모달 정렬을 위해 저수준의 압축 도메인 특징을 활용하는 경량화되고 효율적이며 효과적인 프레임워크를 개발하기 위해.
• 전체 복원에 의존하는 완전 지도 및 약한 지도 기반 방법들과 비교해 정확도를 유지하거나 향상시키면서도 지연과 스토리지 오버헤드를 줄이기 위해.

제안 방법

• 압축 비디오 GOP에서 I-프레임 외관, 운동벡터 운동, 잔차 차이 특징을 추출하고 융합하는 세 가지 분지의 압축 도메인 공간-시간 융합(TCSF) 프레임워크를 제안한다.
• 지연을 최소화하기 위해 외관 표현을 위해 오직 I-프레임 특징만을 사용하여 전체 프레임 복원을 피한다.
• 외관과 운동 표현에서 공간적으로 국소화되고 시간적으로 일관된 특징을 동시에 모델링하기 위해 세 분지의 공간-시간 주의 메커니즘을 설계한다.
• 질의 문맥에 기반해 외관과 운동 특징의 중요도를 동적으로 균형 조절하는 적응형 운동-외관 융합 모듈을 도입한다.
• 전체 프레임의 맥락을 풍부하게 하기 위해 전체 복원이 필요 없는 가짜 특징 생성(PFG) 모듈을 활용한다.
• 질의 유도 특징 강화와 잔차 유도 융합을 적응형 융합 모듈에 통합하여 텍스트 쿼리와 시각적 콘텐츠 간의 정렬을 향상시킨다.

실험 결과

연구 질문

• RQ1 전체 프레임 복원 없이도 압축 비디오 비트스트림에서 직접 효과적인 시간 문장 기반 설정을 달성할 수 있는가?
• RQ2 I-프레임, 운동벡터, 잔차와 같은 저수준의 압축 도메인 특징을 어떻게 효과적으로 융합하여 기반 설정을 위한 비디오 콘텐츠를 모델링할 수 있는가?
• RQ3 압축 도메인에서 외관, 운동, 잔차 특징이 기반 설정 성능에 기여하는 상대적 기여도는 어떠한가?
• RQ4 전체 프레임 복원을 피하는 것으로 계산 복잡도를 낮추면서도 최신 기술 수준의 정확도를 달성할 수 있는가?
• RQ5 공간-시간 주의와 적응형 융합과 같은 아키텍처 구성 요소가 압축 도메인에서 기반 설정 성능을 어떻게 향상시키는가?

주요 결과

• TCSF 프레임워크는 ActivityNet Captions, Charades-STA, TACoS 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 기존의 완전 지도 및 약한 지도 기반 방법들을 능가한다.
• ActivityNet Captions에서 TCSF는 R@1 66.87% (IoU=0.3)와 R@1 48.38% (IoU=0.5)를 기록하여 이전의 최신 기술 수준 방법들을 초월한다.
• 절단 분석 결과, 가짜 특징 생성, 세 분지 주의, 적응형 운동-외관 융합 등 모든 구성 요소가 성능 향상에 기여한다는 것이 확인되었다.
• I-프레임 특징 외에 운동벡터와 잔차 특징만을 사용할 경우, R@1, IoU=0.3에서 2.5% 향상된 성능을 기록한다.
• 최적의 초모수는 시간 주의 창 크기 K=7이며, 기반 헤드의 손실 균형 조정에 사용되는 α=0.8로, 가장 우수한 종합 성능을 얻는다.
• 전체 프레임 복원을 피하는 것으로 계산 복잡도와 지연을 줄였으며, 높은 정확도를 유지함으로써 실생활 적용에서의 효율성과 실용성을 입증한다.