[논문 리뷰] Probing Visual-Audio Representation for Video Highlight Detection via Hard-Pairs Guided Contrastive Learning

Shuai Cheng Li, Feng Zhang외 5명|arXiv (Cornell University)|2022. 06. 21.

Video Analysis and Summarization인용 수 5

한 줄 요약

이 논문은 비디오 하이라이트 검출을 위한 하드페어 유도 대비 학습(HPCL) 프레임워크를 제안하며, 내모odal 및 크로스모달 동시 발생 인코딩을 통해 시각-청각 표현을 향상시켜 특징의 구분 능력을 향상시킨다. 이 방법은 YouTube Highlights(F1: 0.747) 및 TVSum(F1: 0.803)에서 최신 기술 수준(SOTA) 성능을 달성하여, 하드-negative 마이닝을 통한 구분 능력 향상 대비 학습을 통해 특징의 밀도와 분리도가 향상됨을 입증한다.

ABSTRACT

Video highlight detection is a crucial yet challenging problem that aims to identify the interesting moments in untrimmed videos. The key to this task lies in effective video representations that jointly pursue two goals, extit{i.e.}, cross-modal representation learning and fine-grained feature discrimination. In this paper, these two challenges are tackled by not only enriching intra-modality and cross-modality relations for representation modeling but also shaping the features in a discriminative manner. Our proposed method mainly leverages the intra-modality encoding and cross-modality co-occurrence encoding for fully representation modeling. Specifically, intra-modality encoding augments the modality-wise features and dampens irrelevant modality via within-modality relation learning in both audio and visual signals. Meanwhile, cross-modality co-occurrence encoding focuses on the co-occurrence inter-modality relations and selectively captures effective information among multi-modality. The multi-modal representation is further enhanced by the global information abstracted from the local context. In addition, we enlarge the discriminative power of feature embedding with a hard-pairs guided contrastive learning (HPCL) scheme. A hard-pairs sampling strategy is further employed to mine the hard samples for improving feature discrimination in HPCL. Extensive experiments conducted on two benchmarks demonstrate the effectiveness and superiority of our proposed methods compared to other state-of-the-art methods.

연구 동기 및 목표

• 크로스모달 맥락을 함께 모델링하고 하이라이트 및 비하이라이트 세그먼트를 구분할 수 있는 구분 능력 있는 비디오 표현을 학습하는 데 도전하는 것.
• 주의 기반 인코딩을 통해 내모달 및 크로스모달 관계를 향상시켜 비디오 하이라이트 검출을 향상시키는 것.
• 의미적으로 유사하지만 구분하기 어려운 하이라이트 및 비하이라이트 세그먼트에 초점을 맞춘 하드페어 유도 대비 학습(HPCL) 기반의 특징 구분 능력을 향상시키는 것.
• 세그먼트 수준 표현을 선택적으로 통합함으로써 전반적인 의미 이해를 향상시키기 위해 디코더를 통한 글로벌 맥락 추상화를 통합하는 것.

제안 방법

• 모델은 시각, 청각, 동시 발생의 세 개의 스트림을 사용하여 모달별 및 시퀀스별 주의 메커니즘을 통해 내모달 및 크로스모달 관계를 모델링한다.
• 내모달 인코딩은 청각 및 시각 스트림 내의 모달 특징를 향상시키고, 불필요한 신호를 억제함으로써 내모달 관계를 학습한다.
• 크로스모달 동시 발생 인코딩은 다양한 모달 간의 동기화되고 관련된 신호를 포착하기 위해 모달 간 동시 발생 패턴을 모델링한다.
• 글로벌 디코더는 세그먼트 수준 표현을 선택적으로 통합함으로써 고수준의 의미 맥락을 추상화하여 전반적인 표현 품질을 향상시킨다.
• 하드페어 유도 대비 학습(HPCL)은 긍정(하이라이트) 세그먼트를 끌어당기고, 어려운 음성(혼란스러운 비하이라이트) 세그먼트를 밀어내어 특징의 구분 능력을 향상시킨다.
• 하드페어 샘플링 전략은 하이라이트 경계 근처의 어려운 음성 샘플을 우선순위로 지정하여, 미세한 차이를 구분하는 데 모델의 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 비디오 하이라이트 검출에서 크로스모달 맥락 모델링을 향상시키기 위해 시각-청각 표현을 어떻게 공동 최적화할 수 있는가?
• RQ2 내모달 관계 학습은 모달 특징 품질 향상과 노이즈 감소에 어떤 역할을 하는가?
• RQ3 단순한 연결 또는 크로스어텐션과 비교해, 크로스모달 신호의 동시 발생 인코딩이 표현 학습에 어떻게 기여하는가?
• RQ4 하드페어 유도 대비 학습이 하이라이트 검출에서 세그먼트 간 구분 능력을 얼마나 향상시키는가?
• RQ5 세그먼트 수준 특징에서의 글로벌 맥락 추상화가 최종 검출 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 YouTube Highlights 데이터셋에서 F1 점수 0.747, TVSum 데이터셋에서 F1 점수 0.803을 기록하여 이전 최신 기술 수준 방법을 초월한다.
• 제거 실험 결과, 글로벌 디코더를 제거하면 성능이 약간 감소하며, 무작위 초기화는 세그먼트 임베딩 평균을 사용한 경우보다 성능이 열 劣하다.
• HPCL 도입으로 기준 모델 대비 YouTube Highlights에서 3.1% 향상, TVSum에서 2.6% 향상된 성능을 기록한다.
• 동시 발생 인코딩 모듈은 성능을 크게 향상시켜 YouTube Highlights에서 F1 점수를 CR-AV의 0.697에서 0.747로 상승시켜, 표준 크로스어텐션보다 효과적임을 입증한다.
• 하드페어 샘플링은 YouTube Highlights에서 추가로 1.4% 성능 향상을 기록하여, 특징 구분 능력 향상에 기여하는 바가 있음을 확인한다.
• t-SNE 시각화 결과, HPCL가 적용된 최종 모델은 특히 내클래스의 밀도와 간클래스의 분산이 뛰어나, 더 나은 특징 분포를 확보함을 확인한다.