[논문 리뷰] Support-set bottlenecks for video-text representation learning

Mandela Patrick, Po-Yao Huang외 5명|arXiv (Cornell University)|2020. 10. 06.

Multimodal Machine Learning Applications참고 문헌 96인용 수 37

한 줄 요약

본 논문은 대조적 비디오-텍스트 학습을 보완하기 위해 서포트 세트 병목이 있는 교차 인스턴스 캡션 생성을 도입하여 여러 데이터셋에서 의미 공유 및 검색 성능을 향상시킨다.

ABSTRACT

The dominant paradigm for learning video-text representations -- noise contrastive learning -- increases the similarity of the representations of pairs of samples that are known to be related, such as text and video from the same sample, and pushes away the representations of all other pairs. We posit that this last behaviour is too strict, enforcing dissimilar representations even for samples that are semantically-related -- for example, visually similar videos or ones that share the same depicted action. In this paper, we propose a novel method that alleviates this by leveraging a generative model to naturally push these related samples together: each sample's caption must be reconstructed as a weighted combination of other support samples' visual representations. This simple idea ensures that representations are not overly-specialized to individual samples, are reusable across the dataset, and results in representations that explicitly encode semantics shared between samples, unlike noise contrastive learning. Our proposed method outperforms others by a large margin on MSR-VTT, VATEX and ActivityNet, and MSVD for video-to-text and text-to-video retrieval.

연구 동기 및 목표

• 엄격한 인스턴스 차별화를 넘어 비디오-텍스트 표현을 개선하려는 동기를 제시한다.

제안 방법

• 크로스-모달 대조 학습과 생성적 크로스-캡션 목표를 결합한다.
• 배치 내 다른 영상들의 가중 혼합으로 캡션을 재구성하는 교차-인스턴스 주의 메커니즘을 도입한다.
• 배치 수준 주의(attention)를 정의하여 서포트 세트를 선택하고 재구성된 텍스트 표현을 형성한다.
• 비디오-텍스트 쌍에 대해 힌지 기반 트리플렛 대조 손실을 사용하고, 가변 가중치 lambda를 갖는 크로스-캡션 손실을 사용한다.
• 크로스-캡션 주의(attention) 변형(Identity, Full, Hybrid, Cross)을 실험하고 서포트 세트 크기의 영향을 연구한다.
• Adam으로 학습하고 비디오 인코더를 고정한 채 다른 모듈을 미세조정한다.

실험 결과

연구 질문

• RQ1 생성적 크로스-캡션 목적이 대조 손실로 학습된 다중 모달 표현을 향상시킬 수 있는가?
• RQ2 배치 기반 서포트 세트에서 캡션을 재구성하는 것이 샘플 간 의미 공유를 촉진하는가?
• RQ3 어떤 크로스-캡션 변형이 데이터셋 전반에서 가장 우수한 검색 성능을 제공하는가?
• RQ4 서포트 세트 크기가 검색 성능에 어떤 영향을 미치는가?
• RQ5 HowTo100M에서의 사전학습이 최종 결과에 어떤 영향을 미치는가?

주요 결과

• cross-captioning의 Cross 변형이 MSR-VTT에서 텍스트-비디오 검색에서 가장 우수한 성능을 보이며 (27.2% R@1, 55.2% R@5) 관련 지표에서도 우수한 결과를 얻는다
• 분석에서 시간적 주의 결합, 강한 텍스트 인코딩/디코딩, 트리플렛 기반 대조 손실의 결합이 베이스라인보다 성능을 향상시킨다
• HowTo100M에서의 사전학습이 MSR-VTT, VATEX, ActivityNet, MSVD 전반의 성능을 추가로 향상시킨다
• 크로스-캡션 손실은 병목으로 작용하여 개념 공유를 촉진하고 의미 기반 검색을 개선한다
• 작고 너무 큰 서포트 세트는 성능을 저하시켜 중간 크기가 최적임을 시사한다
• 정성적 주의 분석은 모델이 고립된 비디오-캡션 쌍을 암기하기보다 의미적으로 관련된 샘플에 주목함을 보인다