[논문 리뷰] Exploring modality-agnostic representations for music classification

Ho-Hsiang Wu, Magdalena Fuentes외 1명|arXiv (Cornell University)|2021. 06. 02.

Music and Audio Processing참고 문헌 31인용 수 4

한 줄 요약

이 논문은 교차 모odal 검색을 자기 지율적 프리텍스트 작업으로 활용하여 음향과 이미지의 통합 임베딩을 학습하는 모달리티 무관 음악 분류 프레임워크를 제안한다. 사전 훈련된 음향 및 이미지 임베딩 간의 번역 모델을 훈련시켜 단일 분류기가 음향 또는 이미지 중 하나의 모달리티만을 사용해도 음악 악기 분류를 수행할 수 있도록 하였으며, 제한된 레이블 데이터에서 제로샷 설정에서 최고의 단일 모달리티 시스템 성능의 약 70%를 달성한다.

ABSTRACT

Music information is often conveyed or recorded across multiple data modalities including but not limited to audio, images, text and scores. However, music information retrieval research has almost exclusively focused on single modality recognition, requiring development of separate models for each modality. Some multi-modal works require multiple coexisting modalities given to the model as inputs, constraining the use of these models to the few cases where data from all modalities are available. To the best of our knowledge, no existing model has the ability to take inputs from varying modalities, e.g. images or sounds, and classify them into unified music categories. We explore the use of cross-modal retrieval as a pretext task to learn modality-agnostic representations, which can then be used as inputs to classifiers that are independent of modality. We select instrument classification as an example task for our study as both visual and audio components provide relevant semantic information. We train music instrument classifiers that can take both images or sounds as input, and perform comparably to sound-only or image-only classifiers. Furthermore, we explore the case when there is limited labeled data for a given modality, and the impact in performance by using labeled data from other modalities. We are able to achieve almost 70% of best performing system in a zero-shot setting. We provide a detailed analysis of experimental results to understand the potential and limitations of the approach, and discuss future steps towards modality-agnostic classifiers.

연구 동기 및 목표

• 추론 시 모든 모달리티가 필요로 하지 않는 음악 분류 시스템을 개발하는 것.
• 자기 지율적 교차 모달리틱 학습이 후속 분류 작업에 적합한 모달리티 무관 표현을 생성할 수 있는지 조사하는 것.
• 특히 한 모달리티에서 레이블 예제가 제한적인 경우, 저자원 환경에서의 성능을 평가하는 것.
• 통합 임베딩 학습을 위한 학습된 번역 모델과 간단한 차원 축소(예: PCA)의 효과를 비교하는 것.
• 학습 중에 볼 수 없었던 대상 모달리티를 사용하는 제로샷 설정에서 모델의 일반화 능력을 분석하는 것.

제안 방법

• AudioSet에서 훈련된 컨volutional 신경망에서 사전 훈련된 음향 임베딩을 확보하고, ImageNet에서 미세조정된 ResNet-50 모델에서 이미지 임베딩을 확보한다.
• 대조 학습을 사용하여 음향 및 이미지 임베딩을 공통 잠재 공간으로 매핑하는 교차 모달리틱 번역 모델을 자기 지율적으로 훈련시킨다.
• 동일한 악기의 양성 쌍은 가까이, 부정 쌍은 멀리 있도록 하는 대조 손실을 사용하여 통합 임베딩 공간을 최적화한다.
• 차원 축소 및 임베딩 정렬을 위한 대안으로 주성분 분석(PCA)을 사용한다.
• 단일 모달리티에서의 레이블 데이터를 사용하여 통합 임베딩에 대한 후속 분류기를 훈련시켜 모달리티 무관 추론을 가능하게 한다.
• 다양한 데이터 가용성 설정 하에서 교차 모달리틱 검색 및 악기 분류 정확도를 통해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 자기 지율적 교차 모달리틱 검색 학습이 효과적인 모달리티 무관 음악 분류를 가능하게 하는 통합 표현을 생성할 수 있는가?
• RQ2 한 모달리티에서 제한된 데이터로 훈련된 경우, 모달리티 무관 분류기의 성능이 단일 모달리티 분류기와 비교해 어떻게 되는가?
• RQ3 학습 중에 명시적으로 다루지 않은 모달리티로의 일반화 능력은 어느 정도인가?
• RQ4 모달리티 간의 번역 모델 학습이 단순한 차원 축소(예: PCA)보다 통합 표현 학습에서 성능을 높일 수 있는가?
• RQ5 한 모달리티에서의 레이블 데이터 가용성이 통합 임베딩에 기반한 분류기 성능에 어떻게 영향을 미치는가?

주요 결과

• 모달리티 무관 분류기는 제로샷 설정에서 최고의 단일 모달리티 시스템 성능의 약 70%를 달성하여 모달리티 간 강력한 일반화 능력을 입증한다.
• 음향 및 이미지 임베딩 간의 학습된 번역 모델을 사용할 경우, PCA 기반 정렬보다 교차 모달리틱 검색 및 분류 작업 모두에서 성능이 뛰어나다.
• 한 모달리티에서 레이블 데이터가 부족할 경우, 다른 모달리티의 레이블 데이터를 통합 표현 학습을 통해 활용함으로써 성능을 크게 향상시킬 수 있다.
• 추론 시 한 모달리티만 제공되더라도 모델은 높은 성능을 유지하여 모달리티 무관 성격을 확인한다.
• 교차 모달리틱 검색 성능과 후속 분류 정확도 간에 강한 상관관계가 있으며, 이는 통합 임베딩 공간의 효과성을 검증한다.
• 이 방법은 특히 저자원 환경에서 고자원 모달리티(예: 이미지)에서 저자원 모달리티(예: 음향)로의 효과적인 전이 학습을 가능하게 한다.