[논문 리뷰] Contrastive Audio-Language Learning for Music

Ilaria Manco, Emmanouil Benetos외 2명|arXiv (Cornell University)|2022. 08. 25.

Music and Audio Processing인용 수 9

한 줄 요약

MusCALL는 음악에 대해 대비적 음성-언어 학습 프레임워크를 제안하며, 이중 인코더 아키텍처를 사용하여 음악 음성과 자연어 기술을 정렬함으로써 제로샷 텍스트-음성 및 음성-텍스트 검색을 가능하게 한다. 이는 검색 작업에서 최신 기술 수준의 성능을 달성하며, 제로샷 장르 분류 및 오토태깅 작업으로의 일반화도 효과적으로 수행한다.

ABSTRACT

As one of the most intuitive interfaces known to humans, natural language has the potential to mediate many tasks that involve human-computer interaction, especially in application-focused fields like Music Information Retrieval. In this work, we explore cross-modal learning in an attempt to bridge audio and language in the music domain. To this end, we propose MusCALL, a framework for Music Contrastive Audio-Language Learning. Our approach consists of a dual-encoder architecture that learns the alignment between pairs of music audio and descriptive sentences, producing multimodal embeddings that can be used for text-to-audio and audio-to-text retrieval out-of-the-box. Thanks to this property, MusCALL can be transferred to virtually any task that can be cast as text-based retrieval. Our experiments show that our method performs significantly better than the baselines at retrieving audio that matches a textual description and, conversely, text that matches an audio query. We also demonstrate that the multimodal alignment capability of our model can be successfully extended to the zero-shot transfer scenario for genre classification and auto-tagging on two public datasets.

연구 동기 및 목표

• 자연어 기반 음악 검색을 가능하게 하여 음악 정보 검색에서 의미 갭을 해소하고자 한다.
• 음악 음성과 기술적 텍스트 간의 다중모odal 정렬을 위한 확장 가능한 이중 인코더 프레임워크를 개발하고자 한다.
• 텍스트 레이블을 사용하여 피지컬 학습 없이도 제로샷 전이를 가능하게 하여 음악 정보 검색(MIR)의 후행 작업, 예를 들어 장르 분류 및 오토태깅에 적용하고자 한다.
• 데이터 증강, 손실 가중치, 주의 풀링의 영향을 검색 성능에 미치는 영향을 평가하고자 한다.
• 실제 환경에서 자유형 언어 쿼리를 사용한 음악 검색의 실현 가능성을 입증하고자 한다.

제안 방법

• MusCALL는 음성과 텍스트를 별도의 인코더를 사용하여 독립적으로 인코딩하고, 공유 다중모달 임베딩을 생성하는 이중 인코더 아키텍처를 사용한다.
• 모델은 대비 학습을 통해 양성(일치한) 음성-텍스트 쌍 간의 유사도를 최대화하고, 음성 쌍 간의 유사도를 최소화한다.
• 훈련 중에 강건성과 일반화 능력을 향상시키기 위해 무작위 컷팅과 음성 변환을 통한 데이터 증강을 적용한다.
• 콘텐츠 인식 손실 가중치 기법을 도입하여, 앵커와의 유사도에 따라 각 음성 샘플의 기여도를 동적으로 조정한다.
• 음성 임베딩에 주의 풀링을 적용하여 음악 신호의 장거리 구조적 의존성을 더 잘 포착한다.
• 분류 및 태깅 작업 등 후행 작업으로의 제로샷 전이를 지원하기 위해 추론 시 클래스 레이블을 텍스트 프롬프트로 사용한다. 이는 피지컬 학습 없이도 가능하다.

실험 결과

연구 질문

• RQ1 대비적 음성-언어 학습이 자유형 자연어 기술과의 정렬을 통해 음성-텍스트 간의 다중모달 검색에 효과적으로 기여할 수 있는가?
• RQ2 데이터 증강 및 손실 가중치 전략은 MusCALL의 음성-텍스트 검색 성능에 어떤 영향을 미치는가?
• RQ3 MusCALL는 얼마나 효과적으로 제로샷 후행 작업, 예를 들어 장르 분류 및 오토태깅에 일반화되는가?
• RQ4 주의 풀링은 평균 풀링에 비해 더 긴 음성 입력에 대해 검색 성능을 향상시키는가?
• RQ5 MusCALL는 텍스트-음성 및 음성-텍스트 검색 벤치마크에서 기존 베이스라인을 모두 능가하는가?

주요 결과

• MusCALL는 전체 설정을 사용하여 텍스트-음성 검색에서 mAP 25.9%를 달성하며, 기존 베이스라인 방법들을 크게 능가한다.
• 무작위 컷팅이 성능에 가장 큰 기여를 하며, 이를 제거하면 mAP가 13.7% 감소한다. 반면 음성 증강은 더 작은 영향을 미치지만 명확한 영향이 있다.
• 주의 풀링은 평균 풀링 대비 평균 4.9% 향상된 검색 성능을 기록한다. 특히 더 긴 음성 입력에 있어 유의미한 이점이 있다.
• 손실 가중치는 양성 쌍의 유사도 분포를 개선하여 분산을 줄이고 평균 유사도를 높이지만, mAP에 큰 성과 향상은 가져오지 못한다.
• MusCALL는 제로샷 작업으로의 일반화가 효과적으로 이루어지며, 피지컬 학습 없이도 장르 분류 및 오토태깅 작업에서 경쟁적인 성능을 달성한다.
• 정성 분석 결과, 실패 케이스조차도 의미적으로 관련된 트랙을 검색함으로써, 의미의 다양성에 대한 강건성을 보여준다.