[논문 리뷰] VLG-Net: Video-Language Graph Matching Network for Video Grounding

Mattia Soldan, Mengmeng Xu외 3명|arXiv (Cornell University)|2020. 11. 19.

Multimodal Machine Learning Applications참고 문헌 73인용 수 5

한 줄 요약

VLG-Net는 비디오와 언어를 그래프로 모델링하여 그래프 컨volution 네트워크와 교차 모달 그래프 매칭 메커니즘을 통해 내부 및 상호 모달 관계를 포착함으로써 시간적 기반을 향상시키는 비디오-언어 그래프 매칭 네트워크를 제안한다. 이는 ActivityNet-Captions, TACoS, DiDeMo에서 최신 기술 수준(SOTA) 성능을 달성하였으며, ActivityNet-Captions에서 IoU0.5 기준 R@1이 33.35%이고, DiDeMo에서 IoU1.0 기준 R@1이 88.86%를 기록하였다.

ABSTRACT

Grounding language queries in videos aims at identifying the time interval (or moment) semantically relevant to a language query. The solution to this challenging task demands understanding videos' and queries' semantic content and the fine-grained reasoning about their multi-modal interactions. Our key idea is to recast this challenge into an algorithmic graph matching problem. Fueled by recent advances in Graph Neural Networks, we propose to leverage Graph Convolutional Networks to model video and textual information as well as their semantic alignment. To enable the mutual exchange of information across the modalities, we design a novel Video-Language Graph Matching Network (VLG-Net) to match video and query graphs. Core ingredients include representation graphs built atop video snippets and query tokens separately and used to model intra-modality relationships. A Graph Matching layer is adopted for cross-modal context modeling and multi-modal fusion. Finally, moment candidates are created using masked moment attention pooling by fusing the moment's enriched snippet features. We demonstrate superior performance over state-of-the-art grounding methods on three widely used datasets for temporal localization of moments in videos with language queries: ActivityNet-Captions, TACoS, and DiDeMo.

연구 동기 및 목표

• 정밀한 비디오-언어 정렬 과제를 해결하기 위해 언어 쿼리가 정확한 비디오 순간에 매칭되어야 하는 시간적 기반 문제를 다룬다.
• 비디오 스니펫과 쿼리 토큰 간의 국소적 맥락 모델링의 한계를 극복하기 위해 비디오 스니펫과 쿼리 토큰 간의 비국소적 의미 관계를 통합한다.
• 스니펫-토큰 상호작용을 모델링하는 학습 가능한 그래프 매칭 메커니즘으로 히우리스틱 연산을 대체함으로써 다중 모달 융합을 향상시킨다.
• 비디오 및 언어 모odal을 그래프 기반으로 모델링하여 맥락 인식 표현의 엔드 투 엔드 학습을 가능하게 한다.
• 그래프 기반 프레임워크 내에서 맥락 모델링, 정렬, 융합을 통합함으로써 표준 비디오 기반 벤치마크에서 뛰어난 성능을 달성한다.

제안 방법

• 각 스니펫을 노드로 하는 비디오 그래프를 구성하며, 순서 엣지(시간적 근접성)와 의미 엣지(비국소적 유사성)를 통해 내부 비디오 맥락을 모델링한다.
• 각 토큰을 노드로 하는 언어 그래프를 구성하며, 문법적 의존 관계 엣지를 통해 언어적 구조와 내부 쿼리 맥락을 모델링한다.
• 모달 전용 그래프 내에서 표현을 전파하고 향상시키기 위해 그래프 컨volution 네트워크(GCNs)를 적용하여 국소적 및 비국소적 관계를 포착한다.
• 비디오 스니펫과 언어 토큰 간에 동적이고 학습 가능한 엣지를 학습하는 크로스-그래프 어텐션 기반 매칭 레이어를 도입하여 미세한 정렬을 가능하게 한다.
• 마스킹된 순간 어텐션 풀링을 사용하여 향상된 스니펫 특징을 융합하고, 정렬된 그래프 표현 기반으로 순간 후보를 생성한다.
• 다양한 IoU 임계값을 고려하여 기반 정확도를 최적화하기 위해 트리플릿 손실 목적함수를 사용해 엔드 투 엔드 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 비디오 스니펫과 언어 토큰 간의 내부 모달 관계에 대한 그래프 기반 모델링이 비디오 기반의 맥락 표현을 향상시키는가?
• RQ2 비디오 및 언어 그래프 간의 학습 가능한 그래프 매칭 메커니즘이 기존의 캐릭터 기반 융합 연산(예: 연결 또는 하담드 곱)보다 더 나은 정렬을 이끌어내는가?
• RQ3 비디오 스니펫 간의 비국소적 의미 관계를 통합할 경우, 국소적 시간적 맥락에만 의존하는 것과 비교해 기반 성능에 어떤 영향을 미치는가?
• RQ4 제안된 그래프 매칭 모듈이 기존 방법에 비해 다중 모달 융합 및 순간 정렬 정확도를 얼마나 향상시키는가?
• RQ5 ActivityNet-Captions, TACoS, DiDeMo와 같이 언어 복잡도와 비디오 지속 시간이 다양한 다양한 데이터셋에서 모델이 일반화 가능한가?

주요 결과

• VLG-Net는 ActivityNet-Captions에서 IoU0.5 기준 R@1이 33.35%를 기록하여 이전 SOTA 방법인 ROLE보다 3.95%포인트 높은 성능을 달성하였다.
• DiDeMo에서 VLG-Net는 IoU1.0 기준 R@1이 88.86%를 기록하여 보고된 모든 방법 중에서 가장 높은 성능을 보이며 엄격한 기반 기준에서 강력한 성능을 입증하였다.
• 제거 실험에서 비국소적 맥락 모델링을 제거한 경우(VLG-Net NC) R@1 IoU0.5가 25.37%로 감소하여 비국소적 관계의 중요성을 입증하였다.
• 스니펫 수준에서 그래프 매칭 모듈을 하담드 곱으로 대체한 경우(VLG-Net HM) R@1 IoU0.5가 30.94%로 감소하여 제안된 융합 메커니즘의 우수성을 입증하였다.
• 전체 그래프 매칭 모듈을 갖춘 모델(VLG-Net)은 ActivityNet-Captions에서 IoU0.5 기준 R@5가 56.56%를 기록하여 모든 아블레이션 버전과 기존 방법을 모두 압도하였다.
• 정성적 결과에서는 VLG-Net이 때로 지표보다 더 의미적으로 일관된 순간 경계를 예측하는 경향이 있었으며, 예를 들어 연속적인 장면에 대한 기술적 설명 쿼리에 전체 비디오를 매칭하는 경우가 있었다.