[논문 리뷰] Hierarchical Local-Global Transformer for Temporal Sentence Grounding

Xiang Fang, Daizong Liu외 3명|arXiv (Cornell University)|2022. 08. 31.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 시간 문장 기준을 위한 계층적 로컬-글로벌 트랜스포머(HLGT)를 제안하며, 이중 브랜치 트랜스포머 인코더와 글로벌-로컬 상호작용 모듈을 통해 비디오 클립과 문장 어휘의 다중 해상도 상호작용을 모델링함으로써, 세 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며 정확도와 계산 효율성이 향상됨.

ABSTRACT

This paper studies the multimedia problem of temporal sentence grounding (TSG), which aims to accurately determine the specific video segment in an untrimmed video according to a given sentence query. Traditional TSG methods mainly follow the top-down or bottom-up framework and are not end-to-end. They severely rely on time-consuming post-processing to refine the grounding results. Recently, some transformer-based approaches are proposed to efficiently and effectively model the fine-grained semantic alignment between video and query. Although these methods achieve significant performance to some extent, they equally take frames of the video and words of the query as transformer input for correlating, failing to capture their different levels of granularity with distinct semantics. To address this issue, in this paper, we propose a novel Hierarchical Local-Global Transformer (HLGT) to leverage this hierarchy information and model the interactions between different levels of granularity and different modalities for learning more fine-grained multi-modal representations. Specifically, we first split the video and query into individual clips and phrases to learn their local context (adjacent dependency) and global correlation (long-range dependency) via a temporal transformer. Then, a global-local transformer is introduced to learn the interactions between the local-level and global-level semantics for better multi-modal reasoning. Besides, we develop a new cross-modal cycle-consistency loss to enforce interaction between two modalities and encourage the semantic alignment between them. Finally, we design a brand-new cross-modal parallel transformer decoder to integrate the encoded visual and textual features for final grounding. Extensive experiments on three challenging datasets show that our proposed HLGT achieves a new state-of-the-art performance.

연구 동기 및 목표

• 기존 트랜스포머 기반 방법이 동시에 로컬(클립/어휘) 및 글로벌(비디오/질의) 의미를 포착하는 데에 한계가 있음.
• 표준 트랜스포머에서 프레임-단어 상호작용을 동일하게 처리함으로써 발생하는 부분적 의미 매칭 문제를 해결함.
• 시간 소모적인 후처리 또는 제안 생성 없이 엔드 투 엔드 시간 문장 기준을 가능하게 함.
• 새로운 다중모odal 사이클 일致 손실과 병렬 디코더를 통해 다중모달 정렬을 향상시킴.
• 다양한 비디오 도메인에서 일관된 모델 성능과 효율성을 통해 일반화 능력을 향상시킴.

제안 방법

• 비디오와 문장을 클립과 어휘로 분할하여 시간 트랜스포머를 통해 국소적 의존성을 학습함.
• 국소 수준과 글로벌 수준 표현 간의 상호작용을 모델링하기 위해 글로벌-로컬 트랜스포머를 도입함.
• 시각적 및 텍스처적 모odal 간의 의미 일치를 강제하기 위해 교차모달 사이클 일치 손실($L_{CMCC}$)을 설계함.
• 최종 세그먼트 예측을 위해 시각적 및 텍스처적 특징을 통합하기 위해 병렬 교차모달 트랜스포머 디코더를 활용함.
• 후처리 없이 엔드 투 엔드 기준을 가능하게 하기 위해 신뢰도 점수를 갖춘 학습 가능한 세트 예측 헤드를 사용함.
• 지역화, 신뢰도, IoU 감독 간의 균형을 맞추기 위해 하이퍼파rameter($\lambda_{\ell_1}$, $\lambda_{{IoU}}$, $\lambda_f$)를 최적화함.

실험 결과

연구 질문

• RQ1 클립/어휘 대비 비디오/질의 간 다중 해상도 상호작용을 모델링하면 시간 문장 기준 정확도가 향상되는가?
• RQ2 모든 프레임과 단어를 동일하게 처리하는 표준 트랜스포머보다 계층적 로컬-글로벌 어텐션 메커니즘이 우수한가?
• RQ3 사이클 일관성 있는 교차모달 손실이 비디오와 텍스트 간 의미 일치를 향상시키는가?
• RQ4 제안된 방법은 요리, 실내, 오픈 월드 등 다양한 비디오 도메인에서 일반화되는가?
• RQ5 엔드 투 엔드 학습과 최소한의 후처리로 최신 기술 수준의 성능를 달성할 수 있는가?

주요 결과

• HLGT는 ActivityNet Captions, Charades-STA, TACoS에서 새로운 최신 기술 수준 성능를 달성하였으며, 각각 R@5, IoU=0.5 점수는 67.92%, 84.19%, 94.50%를 기록함.
• 제안된 CMCC 손실은 TACoS에서 코사인 유사도 손실 대비 성능을 1.68% 향상시킴 (R@5, IoU=0.5).
• 최적의 하이퍼파ram터는 $\lambda_{\ell_1}=0.8$, $\lambda_{{IoU}}=0.5$, $\lambda_f=0.2$이며, 지역화와 신뢰도 간 균형을 잘 맞춤.
• HLGT는 190.76–257.38개의 비디오를 초당 처리하여 다양한 데이터셋에서 높은 계산 효율성을 보임.
• 정성적 결과에서 HLGT는 다중 해상도 시각적 및 언어적 맥락을 포착함으로써 VIDGTR보다 더 정밀한 기준을 달성함.
• 모델은 유사한 파라미터 수(114–119M)를 유지하면서도 데이터셋 간 일관된 성능을 유지함으로써 강력한 일반화 능력을 보임.