[논문 리뷰] Negative Sample Matters: A Renaissance of Metric Learning for Temporal Grounding

Zhenzhi Wang, Limin Wang외 3명|arXiv (Cornell University)|2021. 09. 10.

Multimodal Machine Learning Applications인용 수 14

한 줄 요약

이 논문은 시간적 지정을 위한 메트릭 학습 프레임워크인 상호 매칭 네트워크(MMN)를 제안한다. MMN는 교차 모달 상호 매칭을 통해 내영상 및 상호 영상 음성 샘플을 활용하여 표현 학습을 향상시킨다. 공동 임bedding 공간에서 유사도를 직접 모델링하고, 대비 및 IoU 기반의 감독을 사용하는 이중 브랜치 시아모이스 아키텍처를 통해, 네 가지 벤치마크에서 최고 성능을 달성하였으며, HC-STVG 챌린지에서 1위를 차지하였다.

ABSTRACT

Temporal grounding aims to localize a video moment which is semantically aligned with a given natural language query. Existing methods typically apply a detection or regression pipeline on the fused representation with the research focus on designing complicated prediction heads or fusion strategies. Instead, from a perspective on temporal grounding as a metric-learning problem, we present a Mutual Matching Network (MMN), to directly model the similarity between language queries and video moments in a joint embedding space. This new metric-learning framework enables fully exploiting negative samples from two new aspects: constructing negative cross-modal pairs in a mutual matching scheme and mining negative pairs across different videos. These new negative samples could enhance the joint representation learning of two modalities via cross-modal mutual matching to maximize their mutual information. Experiments show that our MMN achieves highly competitive performance compared with the state-of-the-art methods on four video grounding benchmarks. Based on MMN, we present a winner solution for the HC-STVG challenge of the 3rd PIC workshop. This suggests that metric learning is still a promising method for temporal grounding via capturing the essential cross-modal correlation in a joint embedding space. Code is available at https://github.com/MCG-NJU/MMN.

연구 동기 및 목표

• 기존 방법이 검출/회귀 헤드에 의존하고 시간적 지정에서 음성 샘플을 충분히 활용하지 못하는 한계를 해결하기 위해.
• 언어 쿼리와 영상 순간을 대칭적으로 간주하여 양방향으로 공동 임베딩 공간에 통합함으로써 교차 모달 표현 학습을 향상시키기 위해.
• 내영상 쌍을 넘어서 상호 영상 음성 샘플과 매칭되지 않은 쌍 간의 상호 매칭의 효과를 탐색하기 위해.
• 철저히 설계된 대비 및 회귀 감독을 갖춘 단순한 메트릭 학습 프레임워크가 복잡한 검출 기반 아키텍처보다 우수한 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 동일한 영상 내 쿼리 간에 순간 특징을 공유하는 시아모이스 유사 아키텍처를 제안하여 계산 비용을 절감한다.
• 정확한 쿼리와 매칭되지 않은 쿼리(내영상 및 상호 영상) 간의 대비를 통해 특징의 분별력을 향상시키는 상호 매칭 목적 함수를 도입한다.
• 교차 모달 상호 매칭 기반의 쌍 식별 손실을 활용하여 매칭된 쿼리-순간 쌍 간의 상호 정보를 최대화한다.
• vIoU를 정답으로 사용하는 IoU 회귀 브랜치를 통합하여 연속적인 감독을 통해 시간 예측을 정밀하게 보정한다.
• 공동 임베딩 공간에서 내적 곱 유사도를 사용하여 효율적인 교차 모달 매칭을 구현한다.
• 후보 튜브를 특징 시퀀스로 간주하고 vIoU를 활용해 선택 및 보정을 유도함으로써, 프레임워크를 공간-시간 지정(STVG)에 적응시킨다.

실험 결과

연구 질문

• RQ1 특히 매칭되지 않은 음성 샘플을 포함한 언어 쿼리와 영상 순간 간의 상호 매칭이 시간적 지정에서 표현 학습을 향상시키는가?
• RQ2 내영상 음성 쌍 외에 상호 영상 음성 쌍을 활용할 경우, 일반화 능력과 성능 향상이 어떻게 향상되는가?
• RQ3 대비 및 회귀 감독을 갖춘 단순한 메트릭 학습 프레임워크가 복잡한 검출 기반 또는 트랜스포머 기반 모델보다 뛰어난 성능을 낼 수 있는가?
• RQ4 MMN 프레임워크는 제한된 애너테이션을 가진 HC-STVG 데이터셋과 같은 저자원 환경에서 얼마나 효과적인가?
• RQ5 양방향 모odal에서 대칭적인 감독을 통한 공동 임베딩 학습이 제로샷 또는 피셔샷 전이성능을 얼마나 향상시키는가?

주요 결과

• MMN는 Charades-STA, TACoS, ActivityNet-Captions 및 HC-STVG를 포함한 네 가지 주요 시간적 지정 벤치마크에서 최고 성능을 달성하였다.
• HC-STVG 벤치마크에서 MMN는 30.32 m_vIoU와 25.56 vIoU@0.5를 기록하여 강력한 베이스라인인 STVGBert(20.42 m_vIoU)와 2D-TAN+WSSTG(15.43 m_vIoU)를 압도적으로 앞섰다.
• 3회차 PIC 워크숍에서의 HC-STVG 챌린지에서 1위를 차지하였으며, 대규모 다중 모달 사전 학습을 사용한 모델들(예: LXMERT, MDETR)을 뛰어넘었다.
• 상호 매칭과 상호 영상 음성 샘플의 성능 향상은 2D-TAN과 동일한 후보 튜브를 사용할 경우 약 10%의 상대적 향상으로 나타났다.
• 쌍 식별 손실과 IoU 회귀 브랜치를 융합하면 성능이 약 0.5% 향상되어 이진 및 연속 감독의 상호 보완적 이점을 입증하였다.
• t-SNE 시각화 결과는 공동 임베딩 공간이 의미적 유사성을 효과적으로 포착하고 있으며, 매칭된 쌍과 매칭되지 않은 쌍 간에 명확히 분리된 클러스터를 형성하고 있음을 확인하였다.