[논문 리뷰] Support-Set Based Cross-Supervision for Video Grounding

Xinpeng Ding, Nannan Wang외 6명|arXiv (Cornell University)|2021. 08. 24.

Multimodal Machine Learning Applications참고 문헌 52인용 수 7

한 줄 요약

이 논문은 공유된 특징 공간에서 대비적이고 문장 생성 목적을 동시에 최적화함으로써 영상 지문화를 향상시키기 위해 지원셋 기반 교차 supervision(Sscs) 모듈을 제안한다. 전체 영상에서의 시각적 단서를 지원셋을 통해 집계함으로써 Sscs는 참조 영상와 배경 영상 간의 시각적 실체 상호 배제 문제를 완화하며, 추론 비용 없이 다중 모odal 표현 학습을 크게 향상시킨다. 이는 Charades-STA에서 SOTA 모델의 R1@0.5 성능을 최대 6.35% 향상시킨다.

ABSTRACT

Current approaches for video grounding propose kinds of complex architectures to capture the video-text relations, and have achieved impressive improvements. However, it is hard to learn the complicated multi-modal relations by only architecture designing in fact. In this paper, we introduce a novel Support-set Based Cross-Supervision (Sscs) module which can improve existing methods during training phase without extra inference cost. The proposed Sscs module contains two main components, i.e., discriminative contrastive objective and generative caption objective. The contrastive objective aims to learn effective representations by contrastive learning, while the caption objective can train a powerful video encoder supervised by texts. Due to the co-existence of some visual entities in both ground-truth and background intervals, i.e., mutual exclusion, naively contrastive learning is unsuitable to video grounding. We address the problem by boosting the cross-supervision with the support-set concept, which collects visual information from the whole video and eliminates the mutual exclusion of entities. Combined with the original objectives, Sscs can enhance the abilities of multi-modal relation modeling for existing approaches. We extensively evaluate Sscs on three challenging datasets, and show that our method can improve current state-of-the-art methods by large margins, especially 6.35% in terms of R1@0.5 on Charades-STA.

연구 동기 및 목표

• 기존 영상 지문화 모델이 아키텍처가 복잡한 설계로 인해 복잡한 영상-텍스트 관계를 학습하는 데에 한계를 가진다는 문제를 해결하기 위해.
• 추론 비용을 추가하지 않고도 학습 중 다중 모달 표현 학습을 향상시키기 위해.
• 참조 영상와 배경 영상 간의 공통 시각적 실체가 의도치 않게 억제되는 대비 학습에서의 상호 배제 문제를 해결하기 위해.
• 지원셋 집계 기반의 새로운 교차 supervision 메커니즘을 통해 영상와 텍스트 간의 상관관계 모델링을 향상시키기 위해.
• 최소한의 아키텍처 변경으로도 다양한 벤치마크 데이터셋에서 제안된 Sscs 모듈의 효과성을 입증하기 위해.

제안 방법

• Sscs 모듈은 정보 이론적 유사도 측정 기반의 infoNCE 손실을 사용하여 공유된 특징 공간에서 의미적으로 관련된 영상-텍스트 쌍의 임베딩을 끌어모는 판별적 대비 목적을 도입한다.
• 영상 인코더를 텍스트 기술을 통해 감독하기 위해 생성적 문장 생성 목적을 통합함으로써 영상 표현 품질을 향상시킨다.
• 전체 영상에서부터 지원셋을 구성하여 글로벌 시각적 맥락을 포착함으로써 전경 및 배경 간격 간의 시각적 실체 상호 배제를 줄인다.
• 지원셋은 모든 클립을 통해 시각적 특징을 집계하여, 지문화에 핵심적인 공통 시각적 단서(예: 사람, 유리잔)를 유지할 수 있도록 한다.
• Sscs 모듈은 추론에 영향을 주지 않도록 학습 중 보조 브랜치로 구현된다.
• 이 방법은 기존 영상 지문화 모델과 호환되며, 2D-TAN 및 LGI와 같은 최신 백본에 쉽게 통합될 수 있다.

실험 결과

연구 질문

• RQ1 추론 비용을 증가시키지 않고도 교차 supervision 모듈이 영상 지문화에서 다중 모달 관계 학습을 향상시킬 수 있는가?
• RQ2 영상 지문화의 대비 학습에서 참조 영상와 배경 영상 간의 시각적 실체 상호 배제 문제는 어떻게 완화할 수 있는가?
• RQ3 지원셋 기반의 시각적 특징 집계가 영상-텍스트 표현 학습의 일반화 및 강건성 향상에 기여하는가?
• RQ4 Sscs는 다양한 데이터셋에서 SOTA 영상 지문화 모델의 성능 향상에 어느 정도 기여하는가?
• RQ5 Sscs가 2D-TAN에서는 더 큰 성능 향상을 기록하는 이유는 무엇이며, 데이터셋의 복잡도는 성능 향상에 어떤 영향을 미치는가?

주요 결과

• Sscs는 Charades-STA에서 2D-TAN의 R1@0.5 성능을 6.35% 향상시켜 평가된 모든 방법 중 가장 큰 향상을 기록했다.
• TACoS에서 Sscs는 2D-TAN의 R1@0.5 성능을 4.24% 향상시켜 다양한 데이터셋에서 일관된 성능 향상을 입증했다.
• ActivityNet-Captions에서 Sscs는 R1@0.5에서 2.16% 향상되었으며, 이는 더 복잡하고 다양한 데이터셋에서의 성능 향상이 상대적으로 작음을 시사한다.
• 유사도 행렬 분석 결과, Sscs는 동일한 샘플에서 유래하지 않은 영상-텍스트 쌍 간의 의미 관계를 기존 기준 모델 및 GTC와 달리 포착하는 것으로 나타났다.
• 정성적 분석 결과, Sscs는 기존 기준 모델이 초기 영상 세그먼트를 선호하는 것과 달리 더 정확하고 짧으며 중앙에 위치한 시간 간격을 예측함을 확인했다.
• 절단 실험 결과, 지원셋 메커니즘이 상호 배제를 줄이고 교차 supervision의 효과를 높이기 위해 필수적임을 입증했다.