[논문 리뷰] Visual Spatio-temporal Relation-enhanced Network for Cross-modal Text-Video Retrieval

Ning Han, Jingjing Chen외 4명|arXiv (Cornell University)|2021. 10. 29.

Multimodal Machine Learning Applications참고 문헌 37인용 수 4

한 줄 요약

이 논문은 시각적 공간-시간 관계를 강화한 VSR-Net을 제안한다. 이는 다층 공간-시간 트랜스포머를 사용하여 영상의 시각적 구성 요소 간의 공간적 및 시간적 관계를 모델링함으로써 영상 표현을 향상시키는 크로스모달 텍스트-비디오 검색을 위한 네트워크이다. 이 방법은 관계 정보를 통해 전역 영상 특징을 강화하고, 두 개의 별도 임bedding 공간에서 텍스트 임베딩과 정렬함으로써 MSR-VTT 및 MSVD 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The task of cross-modal retrieval between texts and videos aims to understand the correspondence between vision and language. Existing studies follow a trend of measuring text-video similarity on the basis of textual and video embeddings. In common practice, video representation is constructed by feeding video frames into 2D/3D-CNN for global visual feature extraction or only learning simple semantic relations by using local-level fine-grained frame regions via graph convolutional network. However, these video representations do not fully exploit spatio-temporal relation among visual components in learning video representations, resulting in their inability to distinguish videos with the same visual components but with different relations. To solve this problem, we propose a Visual Spatio-Temporal Relation-Enhanced Network (VSR-Net), a novel cross-modal retrieval framework that considers the spatial-temporal visual relations among components to enhance global video representation in bridging text-video modalities. Specifically, visual spatio-temporal relations are encoded using a multi-layer spatio-temporal transformer to learn visual relational features. We align the global visual and fine-grained relational features with the text feature on two embedding spaces for cross-modal text-video retrieval. Extensive experimental are conducted on both MSR-VTT and MSVD datasets. The results demonstrate the effectiveness of our proposed model. We will release the code to facilitate future researches.

연구 동기 및 목표

• 기존 크로스모달 검색 방법이 영상의 시각적 구성 요소 간의 복잡한 공간-시간 관계를 포착하는 데에 한계가 있다는 문제를 해결하기 위해.
• 전역 특징 또는 단순한 국소 관계를 초월하여 시각적 영역 간의 공간적 및 시간적 관계를 명시적으로 모델링하여 영상 표현을 향상시키기 위해.
• 전역 시각적 특징과 세분화된 관계 특징을 두 개의 별도 임베딩 공간에서 융합함으로써 텍스트와 영상 간의 크로스모달 정렬을 향상시키기 위해.
• 동일한 구성 요소를 가졌지만 공간-시간 배치가 다른 영상 간의 구분을 가능하게 하는 구조화된 시각적 관계를 활용하여 더 나은 텍스트-비디오 검색 성능를 달성하기 위해.

제안 방법

• 다층 공간-시간 트랜스포머를 사용하여 영상 프레임의 국소 영역 간의 시각적 공간-시간 관계를 인코딩하고, 공간과 시간에 걸쳐 장거리 종속성을 포착한다.
• 영상 프레임 전역에서 공간적·시간적으로 관련된 시각적 구성 요소에 대한 어텐션을 통해 시각적 관계 특징을 학습한다.
• 전역 시각적 임베딩은 2D/3D-CNN를 통해 추출되고, 관계 특징은 공간-시간 트랜스포머에서 유도되어 표현을 풍부하게 한다.
• 두 개의 별도 임베딩 공간을 사용한다: 하나는 전역 시각적 특징과 텍스트를 정렬하기 위한 것이고, 다른 하나는 세분화된 관계 특징과 텍스트를 정렬하기 위한 것이다.
• 크로스모달 검색은 두 공간에서 텍스트와 영상 임베딩 간의 유사도 점수를 계산하고, 이후 특징 융합을 수행함으로써 수행된다.
• 프레임워크는 대비 손실을 사용하여 텍스트-영상 정렬을 최적화하기 위해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 시각적 구성 요소 간의 공간-시간 관계를 모델링하면 크로스모달 검색을 위한 영상 표현이 향상되는가?
• RQ2 전역 영상 특징에 관계 특징을 융합할 경우 텍스트-비디오 검색 성능에 어떤 영향을 미치는가?
• RQ3 다층 공간-시간 트랜스포머를 사용할 경우 표준 2D/3D-CNN 또는 그래프 기반 방법에 비해 시각적 구성 요소 상호작용을 더 잘 모델링할 수 있는가?
• RQ4 전역 특징과 관계 특징을 이중 임베딩 공간에서 정렬할 경우 단일 공간 정렬에 비해 더 나은 성능을 내는가?
• RQ5 VSR-Net은 MSR-VTT 및 MSVD와 같은 표준 벤치마크에서 다양한 영상 이해 작업에 대해 어떻게 일반화되는가?

주요 결과

• VSR-Net은 MSR-VTT 및 MSVD 데이터셋에서 최신 기술 수준의 성능을 달성하여 뛰어난 검색 정확도를 보였다.
• 공간-시간 관계 특징의 통합은 영상 표현을 크게 향상시켜 유사한 시각적 구성 요소를 가졌지만 공간-시간 배치가 다른 영상 간의 구분을 가능하게 하였다.
• 다층 공간-시간 트랜스포머는 영상 프레임과 시각적 영역 간의 장거리 종속성을 효과적으로 포착하여 특징의 표현력을 향상시켰다.
• 전역 특징과 관계 특징을 이중 임베딩 공간에서 정렬함으로써 단일 공간 정렬에 비해 더 견고한 크로스모달 매칭을 달성하였다.
• 모델은 다양한 영상 설명에 대해 잘 일반화되며, 검색 메트릭과 제로샷 전이 설정 모두에서 기준 모델에 비해 일관된 성능 향상을 보였다.