[논문 리뷰] T2VLAD: Global-Local Sequence Alignment for Text-Video Retrieval

Xiaohan Wang, Linchao Zhu외 1명|arXiv (Cornell University)|2021. 04. 20.

Multimodal Machine Learning Applications참고 문헌 42인용 수 11

한 줄 요약

T2VLAD는 공유된 의미 중심을 활용하여 텍스트-비디오 검색을 위한 효율적인 글로벌-로컬 시퀀스 정렬 방법을 제안한다. 이는 텍스트와 비디오 특징을 공동으로 인코딩하여 미세한 로컬 정렬과 상보적인 글로벌 유사도 측정을 가능하게 한다. 이 방법은 추가 데이터 없이 MSRVTT에서 HowTo100M 미리 훈련된 트랜스포머보다 Rank@1에서 2.9% 높은 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Text-video retrieval is a challenging task that aims to search relevant video contents based on natural language descriptions. The key to this problem is to measure text-video similarities in a joint embedding space. However, most existing methods only consider the global cross-modal similarity and overlook the local details. Some works incorporate the local comparisons through cross-modal local matching and reasoning. These complex operations introduce tremendous computation. In this paper, we design an efficient global-local alignment method. The multi-modal video sequences and text features are adaptively aggregated with a set of shared semantic centers. The local cross-modal similarities are computed between the video feature and text feature within the same center. This design enables the meticulous local comparison and reduces the computational cost of the interaction between each text-video pair. Moreover, a global alignment method is proposed to provide a global cross-modal measurement that is complementary to the local perspective. The global aggregated visual features also provide additional supervision, which is indispensable to the optimization of the learnable semantic centers. We achieve consistent improvements on three standard text-video retrieval benchmarks and outperform the state-of-the-art by a clear margin.

연구 동기 및 목표

• 기존 방법이 글로벌 교차 모odal 유사도에만 집중하고 미세한 로컬 정렬을 간과하는 한계를 해결하기 위해.
• 복잡한 쌍별 연산을 공유 가능한 학습 가능한 의미 중심 기반 메커니즘으로 대체하여 로컬 매칭의 계산 비용을 줄이기 위해.
• 서로 다른 감독을 통해 로컬 및 글로벌 정렬을 공동 최적화하여 교차 모달 검색 성능을 향상시키기 위해.
• 수동적인 계층적 파싱이나 복잡한 아키텍처 없이 텍스트와 비디오의 공동 의미 주제를 자동으로 학습하기 위해.

제안 방법

• T2VLAD는 텍스트와 비디오 특징을 공유 NetVLAD 레이어를 통해 학습 가능한 의미 중심을 사용하여 국소 표현으로 인코딩한다.
• 텍스트와 비디오 특징은 동일한 공유 중심에 부드럽게 할당되어 각 주제 내에서 국소 교차 모달 유사도 계산이 가능해진다.
• 동일한 의미 중심에 할당된 텍스트와 비디오 특징 간의 거리 최소화를 통해 국소 정렬을 달성한다.
• 글로벌 정렬은 전역적으로 집계된 텍스트와 비디오 특징 간의 유사도를 계산하여 상보적인 감독을 제공한다.
• 공유 중심은 국소 및 글로벌 손실 목표를 통해 공동 최적화되어 의미 정렬이 향상된다.
• 비용이 많이 드는 그래프 추론이나 다중 레이어 트랜스포머를 피함으로써 효율적인 엔드 투 엔드 훈련이 가능하다.

실험 결과

연구 질문

• RQ1 복잡한 쌍별 매칭 없이도 공유 의미 중심이 텍스트와 비디오 간의 국소 교차 모달 정렬을 효과적으로 가능하게 할 수 있는가?
• RQ2 국소 및 글로벌 정렬을 결합하면 단독으로 사용할 경우보다 검색 성능이 향상되는가?
• RQ3 공유 중심을 활용한 협업 인코딩 전략이 텍스트와 비디오 모odal 간의 의미 간격을 줄이는 데 효과적인가?
• RQ4 제안된 T2VLAD 방법은 정확도와 효율성 측면에서 최신 기술 모델과 비교해 어떻게 성능을 내는가?
• RQ5 추가 데이터 미리 훈련 없이도 다양한 벤치마크에서 일반화 가능한가?

주요 결과

• T2VLAD는 추가 데이터 없이 MSRVTT 벤치마크에서 HowTo100M 미리 훈련된 다중 모달 트랜스포머보다 Rank@1에서 2.9% 높은 성능을 기록한다.
• 국소 정렬 브랜치를 제거하면 성능에 심각한 하락이 발생하여, 테스트 시 글로벌 정렬만 사용할 경우 Rank@1이 5.2% 감소한다.
• 공유 VLAD 중심을 사용한 모델이 별도의 중심이나 최대 풀링을 사용한 버전보다 성능이 뛰어나며, 의미 간격을 줄이는 데 중심 공유의 효과를 입증한다.
• 제거 실험 결과, 글로벌 정렬이 국소 정렬 최적화에 필수적임을 확인하였으며, 이를 훈련에서 생략할 경우 손실 발산이 발생한다.
• 시각화 결과, 높은 할당 중심이 주목할 만한 단어들(예: 'guy', 'something')과 의미적으로 일치함을 확인하여, 모델이 의미 있는 국소 주제를 효과적으로 학습함을 검증한다.
• 정성적 결과는 T2VLAD가 다수의 의미적 신호를 정렬하여 정답 비디오를 성공적으로 검색하는 반면, 국소 정렬 기능이 없는 모델은 정확한 콘텐츠를 포착하지 못함을 보여준다.