[논문 리뷰] A Simple Yet Effective Method for Video Temporal Grounding with Cross-Modality Attention

Binjie Zhang, Yu Li외 4명|arXiv (Cornell University)|2020. 09. 23.

Multimodal Machine Learning Applications참고 문헌 33인용 수 5

한 줄 요약

이 논문은 비디오 시간 기반 작업을 위한 단순하면서도 효과적인 이중 브랜치 교차 모odal 주의(Cross-Modality Attention, CMA) 모듈을 제안한다. 이 모듈은 비디오 및 언어 특징을 번갈아가며 조절하여 국소적이고 전역적인 의미를 정렬한다. 군집에서 세분화하는 인코더-디코더 트랜스포머 아키텍처와 새로운 작업 특화 회귀 손실을 활용함으로써, 더 적은 파라미터 수와 함께 애너테이션 편향에 대한 강건성을 확보하며 Charades-STA 및 ActivityNet Captions에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

The task of language-guided video temporal grounding is to localize the particular video clip corresponding to a query sentence in an untrimmed video. Though progress has been made continuously in this field, some issues still need to be resolved. First, most of the existing methods rely on the combination of multiple complicated modules to solve the task. Second, due to the semantic gaps between the two different modalities, aligning the information at different granularities (local and global) between the video and the language is significant, which is less addressed. Last, previous works do not consider the inevitable annotation bias due to the ambiguities of action boundaries. To address these limitations, we propose a simple two-branch Cross-Modality Attention (CMA) module with intuitive structure design, which alternatively modulates two modalities for better matching the information both locally and globally. In addition, we introduce a new task-specific regression loss function, which improves the temporal grounding accuracy by alleviating the impact of annotation bias. We conduct extensive experiments to validate our method, and the results show that just with this simple model, it can outperform the state of the arts on both Charades-STA and ActivityNet Captions datasets.

연구 동기 및 목표

• 비디오 시간 기반 작업에서 복잡하고 다중 모듈 아키텍처의 한계를 해결하기 위해.
• 비디오와 언어 간의 국소적 및 전역적 정밀도에서 교차 모달 정렬을 향상시키기 위해.
• 기존 데이터셋에서 액션 경계의 모호성으로 인한 애너테이션 편향의 영향을 완화하기 위해.
• 낮은 파라미터 수로도 높은 정확도를 유지하는 경량형 엔드 투 엔드 학습 가능한 모델을 설계하기 위해.

제안 방법

• 이 방법은 다중 헤드 자기 주의 및 양방향 주의 메커니즘을 사용하여 비디오 및 언어 특징을 번갈아가며 조절하는 이중 브랜치 교차 모달 주의(CMA) 모듈을 활용한다.
• 군집에서 세분화하는 인코더-디코더 트랜스포머 아키텍처를 사용한다: 인코더는 쿼리 가이드드 비디오 특징 조절을 사용하고, 디코더는 양 모달을 반복적으로 정밀화한다.
• 의미어파르스 추출(Semantic Phrase Extracting, SPE) 네트워크는 쿼리에서 다양한 의미어구를 식별하여 군집 수준의 비디오 브라우징을 안내한다.
• 시퀀스 순서를 유지하기 위해 사인/余현 함수를 사용하여 비디오 및 쿼리 시퀀스에 시간적 위치 인코딩을 적용한다.
• Hadamard 곱을 통한 특징 융합이 추론 실험에서 덧셈 및 연결보다 성능이 뛰어나다.
• 애너테이션 편향의 영향을 줄이기 위해 적응형 임계값(β)과 계수(α)를 갖는 새로운 작업 특화 회귀 손실을 도입한다.

실험 결과

연구 질문

• RQ1 복잡하고 다중 모듈 아키텍처에 비해 단순한 이중 브랜치 주의 메커니즘이 비디오 시간 기반 작업에서 더 나은 성능을 낼 수 있는가?
• RQ2 군집에서 세분화하는 전략은 비디오 및 언어 모달 간의 국소적 및 전역적 의미를 정렬하는 데 얼마나 효과적인가?
• RQ3 작업 특화 손실 함수는 액션 경계의 모호성으로 인한 애너테이션 편향의 영향을 어느 정도 완화할 수 있는가?
• RQ4 파라미터 수가 적은 경량 모델도 표준 벤치마크에서 최신 기술 성능을 달성할 수 있는가?

주요 결과

• 전체 CMA 모델은 Charades-STA에서 R1@0.5가 57.56%를 기록하여 이전 SOTA(LGI+)보다 0.35% 높은 성능을 보였다.
• ActivityNet Captions에서 모델은 이전 방법보다 파라미터 수의 절반 이하로도 최신 기술 성능을 달성했다.
• Ablation 실험에서 전체 인코더-디코더 아키텍처가 인코더 전용 및 디코더 전용 변형보다 뛰어난 성능을 보였으며, 전역 및 국소 모델링의 필요성을 입증했다.
• 위치 인코딩은 성능에 필수적이며, 사인/余현 위치 인코딩이 학습된 임베딩 매트릭스보다 효율적으로 작동하여 최고의 성능을 기록했다.
• Hadamard 곱 융합이 가장 높은 정확도(57.56% R1@0.5)를 기록했으며, 덧셈(53.42%) 및 연결(56.45%)을 모두 앞섰다.
• α=10 및 β=0.1로 설정된 제안된 손실 함수가 최고의 성능(57.56% R1@0.5)을 기록하여 애너테이션 편향의 영향을 줄이는 데 효과적임을 입증했다.