[논문 리뷰] Compositional Temporal Grounding with Structured Variational Cross-Graph Correspondence Learning

Juncheng Li, Junlin Xie외 7명|arXiv (Cornell University)|2022. 03. 24.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 조합적 시계열 기준 설정을 위한 변동형 교차 그래프 추론 프레임워크인 VISA를 제안한다. 이는 영상과 언어를 계층적 의미 그래프(전반적 사건, 국소적 동작, 원자적 객체)로 모델링하여 미세한 구조적 교차 모odal 대응을 가능하게 한다. 이 방법은 조합적 일반화에서 뚜렷한 성능 향상을 이룩하였으며, 특히 새로운 단어 조합에서 SOTA 모델 대비 Charades-CG에서 최대 33.97% R@1, ActivityNet-CG에서 31.89% 향상된 성능을 기록한다.

ABSTRACT

Temporal grounding in videos aims to localize one target video segment that semantically corresponds to a given query sentence. Thanks to the semantic diversity of natural language descriptions, temporal grounding allows activity grounding beyond pre-defined classes and has received increasing attention in recent years. The semantic diversity is rooted in the principle of compositionality in linguistics, where novel semantics can be systematically described by combining known words in novel ways (compositional generalization). However, current temporal grounding datasets do not specifically test for the compositional generalizability. To systematically measure the compositional generalizability of temporal grounding models, we introduce a new Compositional Temporal Grounding task and construct two new dataset splits, i.e., Charades-CG and ActivityNet-CG. Evaluating the state-of-the-art methods on our new dataset splits, we empirically find that they fail to generalize to queries with novel combinations of seen words. To tackle this challenge, we propose a variational cross-graph reasoning framework that explicitly decomposes video and language into multiple structured hierarchies and learns fine-grained semantic correspondence among them. Experiments illustrate the superior compositional generalizability of our approach. The repository of this work is at https://github.com/YYJMJC/ Compositional-Temporal-Grounding.

연구 동기 및 목표

• 현재 데이터셋이 훈련 및 테스트 분할에서 조합의 중복으로 인해 조합적 일반화 능력을 측정하지 못함에 따라, 시계열 기준 설정 모델의 조합적 일반화 능력을 체계적으로 평가하는 것.
• 표준 벤치마크에서 뛰어난 성능를 보이지만, 이미 본 단어의 새로운 조합에 대해 일반화하지 못하는 최신 기술 모델의 실패 원인을 규명하는 것.
• 기존 방법들이 비정형적인 전역 표현에 의존하여 언어적 및 시각적 조합성을 포착하지 못함에 따라, 구조적 의미 모델링의 부재를 해결하는 것.
• 영상과 언어 양쪽에서 계층적 의미를 명시적으로 모델링하고, 공동 조합적 추론을 위한 미세한 구조적 교차 그래프 대응을 학습하는 프레임워크를 개발하는 것.
• 시계열 기준 설정에서의 조합적 일반화를 철저히 평가할 수 있도록, 두 가지 새로운 벤치마크 분할인 Charades-CG와 ActivityNet-CG를 구축하는 것.

제안 방법

• 영상과 언어를 전반적 사건, 국소적 동작, 원자적 객체의 세 수준으로 분해하는 계층적 의미 그래프를 제안하여 의미의 구조적 표현을 가능하게 한다.
• 영상 그래프와 언어 그래프의 노드 간에 미세한 의미 대응을 학습하기 위한 구조적 교차 모달 어텐션 메커니즘을 설계한다.
• 구조적 노드 간의 확률적이고 미분 가능한 대응을 모델링하는 변동형 교차 그래프 대응(VCC) 모듈을 도입하여 불확실성 인식 대응을 가능하게 한다.
• 특히 복잡하거나 새로운 조합에서의 미세한 의미 차이를 구분할 수 있는 능력을 향상시키기 위해 구조적 대비 학습(SCL) 목적함수를 개발한다.
• 시계열 기준 설정과 조합적 대응 최적화를 동시에 수행하기 위해 대비 학습과 교차 어텐션 메커니즘의 조합을 사용해 VISA 프레임워크를 엔드 투 엔드로 훈련시킨다.
• 학습된 그래프 구조를 해석하기 위해 임계값 기반의 시각화 방법을 사용하여 언어적 단어와 시각적 세그먼트 간의 핵심 의미 대응을 강조한다.

실험 결과

연구 질문

• RQ1 최신 기술 모델은 기존에 본 단어의 새로운 조합에 대해 어느 정도 일반화되는가? 이 성능는 기존 조합에서의 성능와 비교해 어떻게 되는가?
• RQ2 기존 모델은 질의 문장의 단어 순서 변화에 얼마나 민감한가? 이는 표면적 상관관계에 의존함을 시사하는가?
• RQ3 영상과 언어의 의미를 계층적 그래프로 구조적으로 모델링하는 것이 시계열 기준 설정에서의 조합적 일반화 능력을 향상시키는가?
• RQ4 구조적 대비 학습(SCL)과 변동형 교차 그래프 대응(VCC)은 모델이 새로운 조합을 다룰 수 있는 능력에 어떤 기여를 하는가?
• RQ5 학습 중에 볼 수 없었던 복잡하거나 새로운 언어적 조합을 포함한 질의에서 모델은 시계열 기준 설정 세그먼트를 얼마나 잘 국소화하는가?

주요 결과

• 최신 기술 모델은 조합적 일반화에서 심각한 실패를 보이며, Charades-CG에서 기존 조합에서의 R@1 24.14%에서 새로운 조합으로의 성능가 33.97%로 급격히 하락함으로써, 새로운 단어 조합에 대한 일반화 능력이 떨어짐을 시사한다.
• SOTA 모델은 단어 순서 변화에 매우 민감하지 않다: 뒤섞인 질의에서도 원본 질의와 거의 동일한 성능 유지되며, IoU 점수는 거의 변화하지 않아 표면적 상관관계에 의존함을 시사한다.
• 제안된 VISA 프레임워크는 Charades-CG와 ActivityNet-CG 양쪽에서 SOTA 성능을 달성하였으며, 새로운 조합 분할에서 각각 R@1 29.80%와 27.60%를 기록하여 베이스라인을 크게 앞서간다.
• 제거 실험 결과, SCL나 VCC를 제거할 경우 성능가 크게 하락함(예: Charades-CG에서 24.31% → 19.64%), 이는 두 모듈이 미세한 의미를 모델링하는 데 핵심적인 역할을 한다는 것을 확인한다.
• 정성적 분석 결과, VISA는 '준비하여 점프한다'와 '점프한다'와 같은 조합적 의미에 기반해 세그먼트를 정확히 국소화하는 반면, 베이스라인은 시간적 또는 의미적 구조를 잘못 이해해 실패한다.
• 학습된 그래프의 시각화 결과, VISA는 '킥복싱을 수행한다'와 같은 언어적 표현을 '펀치를 가하는 사람', '복싱 링'와 같은 시각적 요소와 성공적으로 대응함을 보여주며 효과적인 교차 모달 대응을 입증한다.