[논문 리뷰] Deep Cross-Modal Correlation Learning for Audio and Lyrics in Music Retrieval

Yi Yu, Suhua Tang외 2명|arXiv (Cornell University)|2017. 11. 24.

Music and Audio Processing참고 문헌 29인용 수 15

한 줄 요약

이 논문은 시간적 구조를 포착하기 위해 이중 분지 신경망과 상호모달 캐논리컬 상관분석(DCCA)을 사용하여 음악과 가사 간의 깊이 있는 교차모달 상관관계 학습 프레임워크를 제안한다. 이 방법은 양방향 음악 검색—음성에서 가사를 검색하거나 그 반대로—에서 최신 기술 수준의 성능을 달성하며, 합성곱 및 완전연결층의 엔드 투 엔드 학습이 기준 모델 대비 검색 정확도를 크게 향상시킨다는 것을 보여준다.

ABSTRACT

Little research focuses on cross-modal correlation learning where temporal structures of different data modalities such as audio and lyrics are taken into account. Stemming from the characteristic of temporal structures of music in nature, we are motivated to learn the deep sequential correlation between audio and lyrics. In this work, we propose a deep cross-modal correlation learning architecture involving two-branch deep neural networks for audio modality and text modality (lyrics). Different modality data are converted to the same canonical space where inter modal canonical correlation analysis is utilized as an objective function to calculate the similarity of temporal structures. This is the first study on understanding the correlation between language and music audio through deep architectures for learning the paired temporal correlation of audio and lyrics. Pre-trained Doc2vec model followed by fully-connected layers (fully-connected deep neural network) is used to represent lyrics. Two significant contributions are made in the audio branch, as follows: i) pre-trained CNN followed by fully-connected layers is investigated for representing music audio. ii) We further suggest an end-to-end architecture that simultaneously trains convolutional layers and fully-connected layers to better learn temporal structures of music audio. Particularly, our end-to-end deep architecture contains two properties: simultaneously implementing feature learning and cross-modal correlation learning, and learning joint representation by considering temporal structures. Experimental results, using audio to retrieve lyrics or using lyrics to retrieve audio, verify the effectiveness of the proposed deep correlation learning architectures in cross-modal music retrieval.

연구 동기 및 목표

• 음악에서 음성과 가사 간의 교차모달 상관관계 학습에 있어 시간적 구조를 모델링함으로써 격차를 해소하고자 한다.
• 통합 프레임워크 내에서 특징 표현과 교차모달 상관관계를 동시에 학습하는 깊이 신경망 아키텍처를 개발하고자 한다.
• 음성과 가사의 공동 표현을 사용하여 음성에서 가사를 검색하거나 그 반대로 검색할 수 있는 이중 음악 검색을 가능하게 하고자 한다.
• 사전 훈련된 모델(Doc2vec를 통한 가사, 사전 훈련된 CNN을 통한 음성)과 엔드 투 엔드 학습의 효과성을 조사하고, 검색 성능 향상에 기여하는지를 분석하고자 한다.
• 훈련 데이터 크기와 CCA 성분 수가 검색 성능에 미치는 영향을 평가하고자 한다.

제안 방법

• 모달별로 전용 신경망을 사용하는 이중 분지 딥 네트워크를 적용한다: 음성은 사전 훈련된 CNN + 완전연결층 또는 엔드 투 엔드 CNN/DNN를 사용하고, 가사는 사전 훈련된 Doc2vec에 이어 완전연결층을 사용한다.
• 두 모달을 공유 캐논리컬 공간으로 투영하며, 이 공간에서 상호모달 캐논리컬 상관분석(DCCA)을 목적 함수로 사용하여 음성과 가사 표현 간의 상관관계를 최대화한다.
• 특징 학습과 교차모달 상관관계 학습을 동시에 최적화하는 엔드 투 엔드 깊이 상관관계 아키텍처를 도입하여 양 모달의 시간적 구조를 유지한다.
• DCCA를 사용하여 두 분지의 출력 간 상관관계를 최대화하면서 시간적 구조의 정렬을 강제함으로써 공동 표현을 학습한다.
• 다중 성분 CCA/MVE 전략을 적용하여 차원 수가 검색 성능에 미치는 영향을 탐색한다.
• 이중 단계 훈련 전략을 사용한다: 모달별 특징에 대한 사전 훈련 후 DCCA 목적 함수를 통한 공동 훈련

실험 결과

연구 질문

• RQ1 깊이 있는 교차모달 상관관계 학습이 음악 검색을 위해 음성과 가사 간의 시간적 상관관계를 효과적으로 모델링할 수 있는가?
• RQ2 음성 표현 학습에서 합성곱 및 완전연결층의 엔드 투 엔드 학습이 사전 훈련된 특징 추출에 비해 어떻게 비교되는가?
• RQ3 CCA 성분의 수가 음성-가사 검색의 성능에 어떤 영향을 미치는가?
• RQ4 훈련 데이터의 양이 제안된 깊이 상관관계 학습 모델의 성능에 어떤 영향을 미치는가?
• RQ5 제안된 아키텍처가 기존 방법에 비해 이중 검색(음성→가사 및 가사→음성)에서 뛰어난 성능을 달성할 수 있는가?

주요 결과

• 엔드 투 엔드 깊이 상관관계 아키텍처(JointTrain-DCCA)는 가사를 쿼리로 사용할 경우 100개 성분에서 MRR1이 0.375로 가장 높은 성능을 기록하며, 모든 다른 설정을 초월한다.
• 음성을 쿼리로 사용할 경우 JointTrain-DCCA 모델은 인스턴스 수준에서 MRR1이 0.374를 기록하며, Spotify-CCA(0.354)와 PretrainCNN-CCA(0.370)를 뚜렷이 앞서간다.
• DCCA를 사용할 경우 훈련 데이터 크기가 증가함에 따라 성능이 선형적으로 향상되며, CCA 및 MVE 기준 모델 대비 더 나은 일반화 능력과 학습 능력을 보여준다.
• 사전 훈련된 Doc2vec를 가사에, 사전 훈련된 CNN을 음성에 적용하면 강력한 기준 성능을 제공하지만, 엔드 투 엔드 학습을 통해 특징과 상관관계 학습을 동시에 최적화함으로써 성능이 더욱 향상된다.
• CCA 성분의 수는 비중대한 영향을 미치며, 성능은 약 100개 성분에서 최고에 도달한다. JointTrain-DCCA는 모든 성분 수에서 다른 모델을 일관되게 앞선다.
• 카테고리 수준의 검색 결과는 제안된 방법의 강건성을 확인하며, 가사를 쿼리로 사용할 경우 100개 성분에서 JointTrain-DCCA는 MRR1이 0.375를 기록한다.