[논문 리뷰] Learning Audio-Visual Representations with Active Contrastive Coding

Shuang Ma, Zhaoyang Zeng외 2명|arXiv (Cornell University)|2020. 08. 31.

Speech and Audio Processing인용 수 7

한 줄 요약

이 논문은 자기지도학습 음성-시각 표현 학습을 향상시키기 위해 활성 샘플링을 통해 다양하고 정보가 풍부한 부정 샘플 사전을 구축하는 활성 대비 코드 기법을 제안한다. 큰 사전 크기에도 불구하고 성능 향상이 제한되는 문제를 완화하기 위해 부정 샘플의 冗餘를 줄임으로써, 특히 영상 분류와 같은 고 상호정보 상황에서 UCF101, HMDB51, ESC50 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

Contrastive coding has achieved promising results in self-supervised representation learning. However, there are practical challenges given that obtaining a tight lower bound on mutual information (MI) requires a sample size exponential in MI and thus a large set of negative samples. We can incorporate more samples by building a large queue-based dictionary, but there are theoretical limits to performance improvements even with a large number of negative samples. We hypothesize that 'random negative sampling' leads to a highly redundant dictionary, which could result in representations that are suboptimal for downstream tasks. In this paper, we propose an active contrastive coding approach that builds an 'actively sampled' dictionary with diverse and informative items, which improves the quality of negative samples and achieves substantially improved results on tasks where there is high mutual information in the data, e.g., video classification. Our model achieves state-of-the-art performance on multiple challenging audio and visual downstream benchmarks including UCF101, HMDB51 and ESC50.

연구 동기 및 목표

• 큰 사전 내에서 반복되는 부정 샘플로 인해 자기지도학습 대비 학습의 성능이 열악해지는 문제를 해결하기 위해.
• 영상 및 음성 시퀀스와 같은 고 상호정보 데이터에서 상호정보 추정 및 표현 품질을 향상시키기 위해.
• 랜덤 샘플링에 의존하는 것이 아니라 정보가 풍부한 부정 샘플을 능동적으로 선택하는 방법을 개발하기 위해.
• UCF101, HMDB51, ESC50와 같은 도전적인 음성-시각 벤치마크에서 최고 성능을 달성하기 위해.
• 대규모 부정 샘플 큐 내의 冗餘를 줄여, 사전 크기를 늘림에도 불구하고 성능 향상이 제한되는 문제를 해결하기 위해.

제안 방법

• 이 방법은 랜덤 샘플링 대신 정보성과 다양성을 기반으로 부정 샘플을 선택하는 능동적 샘플링 전략을 도입한다.
• 대비 학습에서 기여도에 따라 지속적으로 업데이트되는 동적 부정 샘플 사전을 유지한다.
• 대비 손실 최적화에 더 유용하고 더 덜 반복적인 샘플을 우선순위로 정렬하기 위해 다양성 인식 선택 기준을 사용한다.
• 학습 중 부정 쌍의 품질을 향상시키기 위해 메모리 백과 함께 능동적 샘플링을 활용한다.
• 핵심 대비 목표나 기초 아키텍처를 수정하지 않고도 대비 학습 프레임워크에 능동적 샘플링을 통합한다.
• 기존 자기지도학습 프레임워크와 호환되며, 대규모 데이터셋에 대해 효율적으로 확장될 수 있도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 부정 샘플의 능동적 샘플링이 음성-시각 학습에서 자기지도학습 표현의 품질을 향상시킬 수 있는가?
• RQ2 부정 샘플 사전의 冗餘를 줄이면 최종 작업 성능이 향상되는가?
• RQ3 표현 품질과 최종 작업 정확도 측면에서 랜덤 부정 샘플링에 비해 활성 대비 코드는 어떻게 비교되는가?
• RQ4 영상 및 음성 시퀀스와 같은 고 상호정보 데이터에서 능동적 샘플링이 성능 향상에 얼마나 기여하는가?
• RQ5 활성 대비 코드가 UCF101, HMDB51, ESC50와 같은 표준 음성-시각 벤치마크에서 최고 성능을 달성할 수 있는가?

주요 결과

• 제안된 활성 대비 코드 기법은 UCF101 행동 인식 벤치마크에서 최고 성능을 달성한다.
• 높은 종류 간 유사도를 가진 도전적인 행동 인식 데이터셋인 HMDB51에서도 성능 향상을 이룬다.
• 도전적인 음성-시각 사운드 분류 벤치마크인 ESC50에서도 강력한 성능을 기록한다.
• 부정 샘플 사전의 冗餘를 줄임으로써, 큰 사전 크기임에도 불구하고 랜덤 샘플링보다 더 높은 표현 품질을 달성한다.
• 능동적 샘플링 전략은 더 정보가 풍부한 부정 쌍을 생성하여 상호정보 추정 및 최종 작업 일반화 능력을 향상시킨다.
• 특히 고 상호정보 상황에서 일관된 성능 향상이 관찰되며, 여러 음성-시각 벤치마크에서 안정적인 개선 효과를 보였다.