[논문 리뷰] BiC-Net: Learning Efficient Spatio-Temporal Relation for Text-Video Retrieval

Ning Han, Jingjing Chen외 4명|arXiv (Cornell University)|2021. 10. 29.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 텍스트-비디오 검색을 위한 이중 브랜치 트랜스포머 기반 프레임워크인 BiC-Net을 제안한다. 이는 비디오의 전반적인 시간적 특징과 세밀한 시공간 관계를 동시에 모델링한다. 국소적 관계를 위해 Spatio-Temporal Residual Transformer(SRT)를, 전반적 맥락을 위해 다층 트랜스포머를 통합함으로써 BiC-Net은 기존 방법보다 최대 18.5% 높은 R@10 정확도를 달성하면서도 낮은 계산 비용을 기록한다.

ABSTRACT

The task of text-video retrieval aims to understand the correspondence between language and vision, has gained increasing attention in recent years. Previous studies either adopt off-the-shelf 2D/3D-CNN and then use average/max pooling to directly capture spatial features with aggregated temporal information as global video embeddings, or introduce graph-based models and expert knowledge to learn local spatial-temporal relations. However, the existing methods have two limitations: 1) The global video representations learn video temporal information in a simple average/max pooling manner and do not fully explore the temporal information between every two frames. 2) The graph-based local video representations are handcrafted, it depends heavily on expert knowledge and empirical feedback, which may not be able to effectively mine the higher-level fine-grained visual relations. These limitations result in their inability to distinguish videos with the same visual components but with different relations. To solve this problem, we propose a novel cross-modal retrieval framework, Bi-Branch Complementary Network (BiC-Net), which modifies transformer architecture to effectively bridge text-video modalities in a complementary manner via combining local spatial-temporal relation and global temporal information. Specifically, local video representations are encoded using multiple transformer blocks and additional residual blocks to learn spatio-temporal relation features, calling the module a Spatio-Temporal Residual transformer (SRT). Meanwhile, Global video representations are encoded using a multi-layer transformer block to learn global temporal features. Finally, we align the spatio-temporal relation and global temporal features with the text feature on two embedding spaces for cross-modal text-video retrieval.

연구 동기 및 목표

• 같은 시각적 구성 요소를 공유하지만 다른 시공간 관계를 가진 비디오를 구분하는 데에 한계를 가진 기존 텍스트-비디오 검색 모델의 문제를 해결하기 위해.
• 국소적 시공간 관계를 모델링할 때 수작업으로 만든 그래프나 간단한 풀링에 의존함으로써 세밀한 시각적 관계 이해가 제한되는 문제를 해결하기 위해.
• 전반적인 시간적 표현과 세밀한 국소적 관계 특징을 보완하는 통합 프레임워크를 개발하여 교차 모odal 정렬을 향상시키기 위해.
• 효율적인 트랜스포머 기반 아키텍처를 통해 계산 오버헤드를 줄이면서도 높은 성능을 유지하기 위해.

제안 방법

• BiC-Net은 이중 브랜치 아키텍처를 사용한다: 한 브랜치는 잔차 연결이 있는 다중 트랜스포머 블록을 사용하여 국소적 시공간 관계 특징을 학습하며, 이를 Spatio-Temporal Residual Transformer(SRT)로 부른다.
• 두 번째 브랜치는 전체 비디오 시퀀스에서 전역 시간적 특징을 인코딩하기 위해 다층 트랜스포머를 사용한다.
• 국소적 및 전역적 비디오 표현은 교차 모달 검색을 위해 두 개의 별도 임베딩 공간에서 텍스트 특징과 정렬된다.
• 모델은 자기 주의 메커니즘을 활용하여 프레임 간 객체 간 장거리 의존성과 관계적 신호를 포착한다.
• SRT 모듈은 잔차 연결과 다중 헤드 어텐션을 조합하여 공간적 및 시간적 맥락을 유지함으로써 특징 학습을 향상시킨다.
• 프레임워크는 텍스트 및 비디오 임베딩 간의 교차 모달 유사도를 최적화하기 위해 대비 손실을 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 세밀한 시공간 관계를 모델링하면 전반적인 비디오 표현을 넘어서 텍스트-비디오 검색 성능을 향상시킬 수 있는가?
• RQ2 수작업으로 만든 그래프 기반 방법과 비교할 때, 학습 가능한 어텐션 기반 국소적 관계 모델링 접근법은 시각적 상호작용을 얼마나 잘 포착하는가?
• RQ3 국소적 관계 특징과 전역 시간적 특징을 조합한 이중 브랜치 아키텍처는 단일 모odal 모델링보다 더 나은 검색 성능을 달성할 수 있는가?
• RQ4 기존 트랜스포머 기반 모델과 비교해 볼 때, 제안된 방법은 정확도를 유지하거나 향상시키면서 계산 비용을 얼마나 줄일 수 있는가?

주요 결과

• BiC-Net은 MSR-VTT 1k-A 테스트 세트에서 텍스트-비디오 R@10 정확도 85.6%를 달성하여 MMT 베이스라인 대비 18.5% 향상된 성능을 기록했다.
• 한 개의 트랜스포머 레이어만을 사용하는 모델이 DualEncoding 대비 정확도와 효율성 면에서 모두 뛰어나며, 파라미터 수가 적고 FLOPs도 낮았다.
• 정성적 결과 분석에서 BiC-Net은 '크랩을 벌리기'나 '오른쪽 눈에 화장품 바르기'와 같은 복잡하고 세밀한 동작을 가진 비디오를 성공적으로 검색했으며, 관계 모델링 기능이 없는 변종은 관련성이 있지만 잘못된 비디오를 구분하지 못했다.
• 어텐션 시각화 결과는 모델이 '남성 + 게살'이나 '여성 + 화장 브러시'와 같이 의미적으로 관련 있는 영역에 집중하고 있음을 확인했으며, 이는 관계적 신호를 효과적으로 학습하고 있음을 시사한다.
• 제거 실험 결과, 시공간 관계 브랜치를 제거하면 성능이 크게 떨어지며, 이는 유사한 구성 요소를 공유하지만 다른 상호작용을 가진 비디오를 구분하는 데 필수적임을 입증한다.
• 모델은 MSR-VTT, MSVD, YouCook2 세 가지 벤치마크에서 강력한 성능을 유지하며 일반화 능력과 견고성을 입증했다.