[논문 리뷰] Fine-grained Iterative Attention Network for TemporalLanguage Localization in Videos

Xiaoye Qu, Pengwei Tang외 4명|arXiv (Cornell University)|2020. 08. 06.

Multimodal Machine Learning Applications참고 문헌 43인용 수 13

한 줄 요약

이 논문은 비디오에서 시간적 언어 정위치를 위한 미세한 반복 주의망(Fine-grained Iterative Attention Network, FIAN)을 제안한다. FIAN은 양방향으로 세밀한 상호작용을 통해 비디오 및 쿼리 표현을 상호 보완적으로 개선하는 대칭적이고 반복적인 교차모달 주의를 사용한다. FIAN은 ActivityNet, TACoS, Charades-STA의 세 가지 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 콘텐츠 중심의 정위치 전략과 새로운 교차모달 유도 주의 메커니즘을 통해 이전 방법들보다 뚜렷한 성능 향상을 이룬다.

ABSTRACT

Temporal language localization in videos aims to ground one video segment in an untrimmed video based on a given sentence query. To tackle this task, designing an effective model to extract ground-ing information from both visual and textual modalities is crucial. However, most previous attempts in this field only focus on unidirectional interactions from video to query, which emphasizes which words to listen and attends to sentence information via vanilla soft attention, but clues from query-by-video interactions implying where to look are not taken into consideration. In this paper, we propose a Fine-grained Iterative Attention Network (FIAN) that consists of an iterative attention module for bilateral query-video in-formation extraction. Specifically, in the iterative attention module, each word in the query is first enhanced by attending to each frame in the video through fine-grained attention, then video iteratively attends to the integrated query. Finally, both video and query information is utilized to provide robust cross-modal representation for further moment localization. In addition, to better predict the target segment, we propose a content-oriented localization strategy instead of applying recent anchor-based localization. We evaluate the proposed method on three challenging public benchmarks: Ac-tivityNet Captions, TACoS, and Charades-STA. FIAN significantly outperforms the state-of-the-art approaches.

연구 동기 및 목표

• 기존 모델에서 비디오에서 쿼리로만 주의를 기울이는 단방향 주의의 한계를 해결하여, 쿼리에서 비디오로의 중요한 단서를 놓치지 않도록 하기 위해.
• 비디오 프레임과 쿼리 단어 간의 세밀하고 이원적인 상호작용을 캡처하여 교차모달 표현을 향상시키기 위해.
• 앵커 기반 회귀를 대체하여 콘텐츠 중심의 정위치 전략을 도입함으로써 정위치 정확도를 향상시키기 위해.
• 비디오 인식 및 쿼리 인식 표현을 번갈아 가며 개선하는 대칭적이고 반복적인 주의 메커니즘을 설계하기 위해.
• 다양한 공개 벤치마크에서 추론 실험을 통해 각 구성 요소의 효과성을 검증하기 위해.

제안 방법

• 세밀한 비디오-쿼리 상호작용을 캡처하기 위해 다중 특징 공간에서 다중 헤드 주의를 수행하는 교차모달 유도 주의(Cross-Modal Guided Attention, CGA) 블록을 제안한다.
• 비디오가 쿼리에 주의를 기울이고, 쿼리가 비디오에 주의를 기울이는 방식으로 번갈아 가며 표현을 개선하는 대칭적이고 반복적인 주의 모듈을 구현한다.
• 반복적으로 문장 인식 비디오 표현과 비디오 인식 문장 표현을 생성하는 교차모달 인코더를 도입한다.
• 양 모달의 주의된 특징을 융합하여 강력한 교차모달 표현을 만드는 필터 제어 융합 기법을 사용한다.
• 앵커 제안 없이 직접적으로 순간 경계를 회귀하는 콘텐츠 중심의 정위치 모듈을 적용한다.
• 각 반복 단계에서 텍스트 쿼리와 관련된 비디오 세그먼트 간의 정렬을 향상시키는 다단계 개선 프로세스를 구현한다.

실험 결과

연구 질문

• RQ1 비디오와 텍스트 간의 반복적이고 상호작용적인 주의가 시간적 언어 정위치의 정확도를 향상시키는가?
• RQ2 비디오 인식 문장 표현을 통합함으로써 문장 인식 비디오 표현의 품질이 향상되는가?
• RQ3 제안된 콘텐츠 중심의 정위치 전략은 앵커 기반 방법에 비해 경계 예측 정확도에서 어떻게 비교되는가?
• RQ4 표준 소프트 주의에 비해 교차모달 유도 주의 블록이 세밀한 상호작용을 모델링하는 데 기여하는 정도는 어떠한가?
• RQ5 다양한 융합 전략(연결, 행렬 연산)이 모델의 최종 성능에 어떤 영향을 미치는가?

주요 결과

• FIAN은 ActivityNet Captions, TACoS, Charades-STA의 세 벤치마크에서 모두 최신 기술 수준(SOTA) 성능을 달성하며, 이전 방법들을 뛰어넘는 성능을 보였다.
• TACoS에서 FIAN은 IoU=0.5일 때 Rank@1이 44.8%이며, Rank@5는 76.1%에 도달하여 이전 SOTA를 뚜렷이 앞서갔다.
• 추론 실험 결과, 정보 게이팅 기능이 포함된 CGA 블록은 표준 소프트 주의 대비 Rank@1(이매정도 IoU=0.5)에서 1.51% 향상된 성능을 기록했다.
• 대칭적 반복 주의를 사용하는 전체 FIAN 모델은 단일 브랜치 버전(FIAN-VQMA 및 FIAN-QVMA 등)보다 성능이 뛰어나 상호 보완적 개선의 효과를 입증했다.
• 정위치 모듈을 TGN 또는 CMIN 구성 요소로 대체할 경우 성능 저하가 발생하여, 제안된 정위치 전략의 우수성을 확인했다.
• 스트라이드=1/8θk로 최적의 후보 샘플링을 수행할 경우 R@1 성능이 가장 뛰어나며, 밀도 높은 샘플링(스트라이드=1)은 모호성으로 인해 학습에 악영향을 미친다.