[논문 리뷰] Active Contrastive Learning of Audio-Visual Video Representations

Shuang Ma, Zhaoyang Zeng외 2명|arXiv (Cornell University)|2020. 08. 31.

Speech and Audio Processing참고 문헌 80인용 수 46

한 줄 요약

CM-ACC는 오디오-비주얼 비디오 표현에 대해 적극적으로 샘플링된 크로스-모달 대조 프레임워크를 도입하여 표준 벤치마크에서 강력한 개선을 가져오고 대규모 어휘집의 중복성을 완화합니다.

ABSTRACT

Contrastive learning has been shown to produce generalizable representations of audio and visual data by maximizing the lower bound on the mutual information (MI) between different views of an instance. However, obtaining a tight lower bound requires a sample size exponential in MI and thus a large set of negative samples. We can incorporate more samples by building a large queue-based dictionary, but there are theoretical limits to performance improvements even with a large number of negative samples. We hypothesize that extit{random negative sampling} leads to a highly redundant dictionary that results in suboptimal representations for downstream tasks. In this paper, we propose an active contrastive learning approach that builds an extit{actively sampled} dictionary with diverse and informative items, which improves the quality of negative samples and improves performances on tasks where there is high mutual information in the data, e.g., video classification. Our model achieves state-of-the-art performance on challenging audio and visual downstream benchmarks including UCF101, HMDB51 and ESC50.\footnote{Code is available at: \url{https://github.com/yunyikristy/CM-ACC}}

연구 동기 및 목표

• 자기 지도 대조 학습을 통해 강건한 오디오-비주얼 비디오 표현 학습을 촉진한다.
• 활성 샘플링 제안을 통해 대형 어휘집의 중복성 및 비효과적인 음수를 해결한다.
• 오디오-비주얼 상응성을 활용하는 크로스-모달 대조 프레임워크를 개발한다.
• 액션 및 사운드 분류 과제에서 다운스트림 성능 향상을 입증한다.

제안 방법

• MoCo-스타일 대조 학습을 크로스-모달 오디오-비주얼 비디오 데이터로 확장한다.
• 다양성을 위해 그래디언트 기반 불확실성 및 k-means++ 초기화를 사용하여 적극적으로 샘플링된 음수 샘플의 어휘집을 구성한다.
• 쿼리 인코더와 모멘텀 업데이트된 키 인코더를 교차 모달로 사용하여 크로스-모달 대조 손실을 계산한다.
• 의사 레이블을 사용하여 불확실성 추정과 다양한 정보가 포함된 음수를 선택한다.
• 교차 모달 그래디언트 흐름을 가능하게 하고 안정성을 높이기 위해 추가 FC 계층을 도입한다.
• AudioSet과 Kinetics 데이터셋에서 사전 학습한 후 다운스트림 과제를 평가한다.

실험 결과

연구 질문

• RQ1 높은 MI를 가지는 오디오-비주얼 비디오 데이터에 대해 활성화된 불확실성 가이드 음수 샘플링이 무작위 음수에 비해 대조 학습을 개선할 수 있는가?
• RQ2 적극적으로 샘플링된 어휘집을 갖춘 크로스-모달 대조 학습이 다운스트림 비디오 행동 및 오디오 분류 과제에 대해 더 나은 표현을 산출하는가?
• RQ3 다양성과 다운스트림 성능 측면에서 그래디언트 기반 음수 샘플링이 특징 기반 샘플링과 어떻게 비교되는가?
• RQ4 크로스-모달 그래디언트 흐름이 학습 안정성과 표현 품질에 미치는 영향은 무엇인가?

주요 결과

• CM-ACC는 AudioSet과 Kinetics 데이터로 사전 학습했을 때 UCF101, HMDB51, ESC50에서 최첨단 분류 성능을 달성한다.
• 활성 샘플링은 무작위 샘플링보다 의미 범주 전반에서 더 다양한 음수를 생성하여 더 높은 비율의 범주를 포괄한다.
• 그래디언트 기반 임베딩은 음수 샘플링을 위한 특징 임베딩만 사용하는 것보다 더 강력한 다운스트림 이득을 제공한다.
• CM-ACC는 여러 벤치마크에서 무작위 샘플링 MoCo 베이스라인을 상당한 차이로 능가한다(보고된 비교에서 ESC50에서 최대 +6.2 등).
• 보조 FC 계층을 통한 그래디언트 흐름이 있는 크로스-모달 학습은 크로스-모달 흐름이 없는 버전보다 안정성과 성능을 향상시킨다.