[논문 리뷰] Contrastive Unsupervised Learning for Audio Fingerprinting

Zhesong Yu, Xingjian Du외 2명|arXiv (Cornell University)|2020. 10. 26.

Music and Audio Processing참고 문헌 19인용 수 4

한 줄 요약

이 논문은 MoCo(Momentum Contrast) 방법을 기반으로 한 대비형 비지도 학습 프레임워크를 제안하며, 동일 오디오의 왜곡된 버전(양성 쌍)을 다른 오디오 트랙(음성 쌍)과 대비시켜 강력하고 구분력 있는 오디오 임베딩을 학습한다. 이 방법은 피치 시프팅과 속도 변경과 같은 심각한 왜곡에 대해 최신 기술 수준의 강건성을 확보하며, VoxCeleb2-Test에서 84.54%의 히트율을 기록하고, 예상치 못한 왜곡 상황에서도 100%의 일반화 성능을 보였다.

ABSTRACT

The rise of video-sharing platforms has attracted more and more people to shoot videos and upload them to the Internet. These videos mostly contain a carefully-edited background audio track, where serious speech change, pitch shifting and various types of audio effects may involve, and existing audio identification systems may fail to recognize the audio. To solve this problem, in this paper, we introduce the idea of contrastive learning to the task of audio fingerprinting (AFP). Contrastive learning is an unsupervised approach to learn representations that can effectively group similar samples and discriminate dissimilar ones. In our work, we consider an audio track and its differently distorted versions as similar while considering different audio tracks as dissimilar. Based on the momentum contrast (MoCo) framework, we devise a contrastive learning method for AFP, which can generate fingerprints that are both discriminative and robust. A set of experiments showed that our AFP method is effective for audio identification, with robustness to serious audio distortions, including the challenging speed change and pitch shifting.

연구 동기 및 목표

• 오디오 트랙이 피치 시프팅, 속도 변경 및 효과를 통해 심하게 왜곡되는 영상 공유 플랫폼에서의 오디오 식별 문제를 해결한다.
• Shazam과 SAMAF와 같은 기존 방법을 초월하여, 특히 심각한 왜곡 상황에서도 강건한 오디오 지문 시스템을 향상시킨다.
• 라벨이 없는 데이터가 필요 없이 구분력 있고 강건한 오디오 표현을 학습하기 위해 비지도 대비 학습을 활용한다.
• 다양한 왜곡을 사전 훈련 중에 사용함으로써, 훈련 중에 볼 수 없었던 새로운 왜곡 상황에도 일반화할 수 있도록 한다.
• 저 스토리지 오버헤드를 갖춘 산업적 구현에 적합한 컴act하고 확장 가능한 지문 시스템을 개발한다.

제안 방법

• 오디오 트랙과 그 증강된, 왜곡된 버전을 양성 쌍으로 간주하여 MoCo 대비 학습 프레임워크를 오디오 지문에 적용한다.
• 다른 오디오 트랙을 음성 쌍으로 간주하여 훈련 중 표현의 구분 능력을 강화한다.
• 랜덤 오디오 열화(예: 피치 시프팅, 속도 변경, 압축, 이퀄라이제이션)를 통한 데이터 증강을 사용해 양성 샘플을 생성한다.
• 쿼리 및 키 브랜치를 갖춘 공유 인코더(예: VGG-16, ResNet-18)를 사용하며, 키는 모멘터니 업데이트를 통해 훈련을 안정화한다.
• 2.5초 길이의 오디오 세그먼트에서 메르 스펙트로그램(128×200)을 기반으로 글로벌 평균 풀링과 L2 정규화를 통해 256차원 임베딩을 추출한다.
• 엔드 투 엔드 훈련 중에 양성 쌍 간의 거리를 최소화하고 음성 쌍 간의 거리를 최대화하기 위해 대비 손실을 사용한다.

실험 결과

연구 질문

• RQ1 대비형 비지도 학습이 피치 시프팅과 속도 변경과 같은 심각한 왜곡 상황에서 오디오 지문의 강건성을 향상시킬 수 있는가?
• RQ2 백본 네트워크 선택(예: VGG 대비 ResNet)이 자원이 제한된 비지도 설정에서 지문 식별 성능에 어떤 영향을 미치는가?
• RQ3 대비 학습 기반 AFP 시스템이 훈련 중에 볼 수 없었던 새로운 오디오 왜곡 상황에 얼마나 잘 일반화되는가?
• RQ4 실제 왜곡 상황에서 기존 시스템인 Shazam과 SAMAF와 비교해 본다면, 제안된 방법의 히트율은 어떻게 되는가?
• RQ5 대규모 산업적 구현을 위한 학습된 지문의 스토리지 효율성과 확장성은 어떠한가?

주요 결과

• ImageNet에서 사전 훈련된 VGG-16 모델이 VoxCeleb2-Test 세트에서 가장 높은 히트율 84.54%를 기록하며, ResNet 기반 모델들을 능가했다.
• 훈련 중에 사용되지 않은 등화 및 압축 왜곡 상황에서도 VoxCeleb2-Test와 Music-Test에서 모두 100%의 히트율을 기록하여 강력한 일반화 능력을 입증했다.
• Shazam 기반 베이스라인은 동일한 테스트 세트에서 0.00%의 히트율을 기록하여 기존 방법의 심각한 한계를 드러냈다.
• VGG-16를 사용했을 때 음악 데이터에 대해서도 높은 성능(이미지넷 사전 훈련 없이도 99.80% 히트율)을 보이며 음악에 대해 매우 높은 구분 능력을 지닌 것으로 나타났다.
• 지문은 매우 컴팩트하여 3분짜리 트랙당 약 400 KB이며, 1억 개 트랙의 데이터베이스를 약 400 GB의 스토리지로 구현 가능해 산업적 활용에 적합하다.
• 놀랍게도 더 깊은 네트워크인 ResNet-50가 VGG-16보다 성능이 떨어져, 특징의 의미론적 특성과 모델 용량이 항상 AFP 성능과 관련이 있는 것은 아님을 시사했다.