[논문 리뷰] Video-Text Pre-training with Learned Regions

Rui Yan, Mike Zheng Shou외 5명|arXiv (Cornell University)|2021. 12. 02.

Multimodal Machine Learning Applications참고 문헌 70인용 수 7

한 줄 요약

이 논문은 객체 검출기 없이 원시 비디오 특징에서 분류 가능한 시각적 영역을 암묵적으로 학습하는 자기지도 학습 모듈인 RegionLearner를 제안한다. 패치 특징을 의미 클러스터로 양자화하고, 영역 집합을 위해 학습 가능한 마스크를 적용하며, 영역 간 상호작용을 모델링함으로써, MSVD에서 R@1이 최대 10.3% 향상되어 이전의 외부 객체 검출기나 프레임 수준의 특징에 의존하는 방법들을 능가한다.

ABSTRACT

Video-Text pre-training aims at learning transferable representations from large-scale video-text pairs via aligning the semantics between visual and textual information. State-of-the-art approaches extract visual features from raw pixels in an end-to-end fashion. However, these methods operate at frame-level directly and thus overlook the spatio-temporal structure of objects in video, which yet has a strong synergy with nouns in textual descriptions. In this work, we propose a simple yet effective module for video-text representation learning, namely RegionLearner, which can take into account the structure of objects during pre-training on large-scale video-text pairs. Given a video, our module (1) first quantizes visual features into semantic clusters, then (2) generates learnable masks and uses them to aggregate the features belonging to the same semantic region, and finally (3) models the interactions between different aggregated regions. In contrast to using off-the-shelf object detectors, our proposed module does not require explicit supervision and is much more computationally efficient. We pre-train the proposed approach on the public WebVid2M and CC3M datasets. Extensive evaluations on four downstream video-text retrieval benchmarks clearly demonstrate the effectiveness of our RegionLearner. The code will be available at https://github.com/ruiyan1995/Region_Learner.

연구 동기 및 목표

• 비디오-텍스트 사전학습에서 시공간적 객체 구조를 忽略하는 프레임 수준의 시각적 특징 추출 방식의 한계를 해결하기 위해.
• 비용이 많이 들고 품질에 의존하는 외부 객체 검출기를 사용하지 않고 영역 특징 추출을 제거하기 위해.
• 원시 비디오 패치에서 의미 있는 시각적 영역을 암묵적으로 학습하는 경량이며 엔드 투 엔드로 학습 가능한 모듈을 개발하기 위해.
• 학습된 시각적 영역 간의 상호작용을 모델링하여 비디오-텍스트 표현 학습을 향상시키기 위해.
• 명시적 지도 학습 없이도 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 양자화: 비디오 프레임의 시각적 특징이 학습 가능한 코드북을 사용해 이산적인 의미 표현으로 군집화된다.
• 집합: 학습 가능한 영역 마스크가 동일한 의미 영역에 속하는 특징을 그룹화하여 집중적인 특징 학습을 가능하게 한다.
• 상호작용: 단일 레이어 상호작용 모듈을 통해 집합된 영역 특징 간의 시공간적 상호작용을 모델링하여 표현 이해도를 향상시킨다.
• RegionLearner 전체 모듈는 미분 가능하고 플러그 앤 플레이 가능하며, 다양한 비디오 및 텍스트 인코더와 호환된다.
• 이 방법은 경계 상자 애너테이션이나 사전에 학습된 객체 검출기가 필요 없이 원시 비디오 픽셀에서 엔드 투 엔드로 작동한다.
• 모듈는 WebVid2M 및 CC3M와 같은 대규모 데이터셋에서 비디오-텍스트 대비 목적함과 함께 공동으로 학습된다.

실험 결과

연구 질문

• RQ1 원시 비디오 패치에서 암묵적이고 자기지도 학습된 영역 학습이 비디오-텍스트 표현 정렬을 향상시킬 수 있는가?
• RQ2 RegionLearner의 성능는 비디오-텍스트 사전학습에서 외부 객체 검출기를 사용하는 방법과 비교해 어떻게 되는가?
• RQ3 최적의 학습된 영역 수와 상호작용 깊이가 검색 성능을 최대화하기 위해 무엇인가?
• RQ4 명시적 지도 학습이 없이도 모델이 의미적으로 의미 있는 영역을 학습할 수 있는가?
• RQ5 프레임 수준의 특징 추출에 비해 영역 기반 특징 집합이 최종 비디오-텍스트 검색 성능에 얼마나 기여하는가?

주요 결과

• RegionLearner는 기본 방법 대비 MSR-VTT 1K-A 벤치마크에서 R@1이 5.3% 절대적 향상되었다.
• MSVD 벤치마크에서 이 방법은 R@1이 10.3% 절대적 향상되어 이전 최고 성능 방법들을 크게 능가한다.
• 제거 분석 결과, 영역 집합이 성능 향상에 가장 큰 기여를 하며, 기본 모델 대비 최대 2.0% 향상된다.
• 최적의 영역 수는 K=8로 확인되었으며, 너무 적거나 너무 많은 영역은 성능 저하를 초래한다.
• 단일 레이어의 영역 간 상호작용이 가장 우수한 성능을 내며, 더 깊은 상호작용은 사전학습 데이터에서 과적합을 유도한다.
• 시각화 결과 RegionLearner가 전경 객체와 분류 가능한 배경 세부 정보를 성공적으로 포착하는 것으로 확인되었으며, 실패 케이스는 노이즈가 많거나 비디오-텍스트 쌍이 잘못 정렬된 경우의 한계를 보여준다.