[논문 리뷰] Towards Deep Modeling of Music Semantics using EEG Regularizers

Francisco Raposo, David Martins de Matos외 3명|arXiv (Cornell University)|2017. 12. 14.

Music and Audio Processing참고 문헌 24인용 수 3

한 줄 요약

이 논문은 Deep Canonical Correlation Analysis (DCCA)를 사용하여 음악 오디오와 뇌파(EEG) 신호를 공동으로 모델링하는 새로운 엔드 투 엔드 딥 네ural 네트워크를 제안한다. 이는 공유된 의미적 임bedding 공간을 학습한다. 뇌파 데이터를 인지적 정규화 요소로 활용함으로써, 오직 2.5시간의 오디오-EEG 데이터만을 사용하여도, Spotify의 특징과 유사한 성능을 내며, 700배 이상 더 많은 데이터로 훈련된 SOTA 모델을 능가하는 오디오-가사 간 다중모odal 검색에서 최고 성능을 달성한다.

ABSTRACT

Modeling of music audio semantics has been previously tackled through learning of mappings from audio data to high-level tags or latent unsupervised spaces. The resulting semantic spaces are theoretically limited, either because the chosen high-level tags do not cover all of music semantics or because audio data itself is not enough to determine music semantics. In this paper, we propose a generic framework for semantics modeling that focuses on the perception of the listener, through EEG data, in addition to audio data. We implement this framework using a novel end-to-end 2-view Neural Network (NN) architecture and a Deep Canonical Correlation Analysis (DCCA) loss function that forces the semantic embedding spaces of both views to be maximally correlated. We also detail how the EEG dataset was collected and use it to train our proposed model. We evaluate the learned semantic space in a transfer learning context, by using it as an audio feature extractor in an independent dataset and proxy task: music audio-lyrics cross-modal retrieval. We show that our embedding model outperforms Spotify features and performs comparably to a state-of-the-art embedding model that was trained on 700 times more data. We further discuss improvements to the model that are likely to improve its performance.

연구 동기 및 목표

• 음악의 주관적 의미를 포착하지 못하는 오디오 전용 모델의 한계를 극복하기 위해 청취자의 인지적 뇌파 반응을 통합하고자 한다.
• EEG 데이터를 정규화 요소로 통합하여 음악 표현 학습에서 의미적 임베딩 품질을 향상시키는 일반화된 프레임워크를 개발하고자 한다.
• 전이 학습 설정에서 EEG 정규화 임베딩의 효과성을 평가하고자 한다.
• 인지적으로 기반을 둔 임베딩이 훨씬 더 많은 오디오 전용 데이터로 훈련된 모델의 성능을 따라하거나 능가할 수 있음을 보여주고자 한다.

제안 방법

• 1.5초 간의 정렬된 오디오 및 EEG 입력을 엔드 투 엔드 방식으로 처리하는 2뷰 신경망 아키텍처를 설계한다.
• 오디오 및 EEG 임베딩 공간 간 상관관계를 최대화하기 위해 Deep Canonical Correlation Analysis (DCCA)를 손실 함수로 사용한다.
• 각 오디오-EEG 녹음 파일을 1.5초 간격의 청크로 분할하여 훈련에 활용하며, 곡 수준의 임베딩은 청크 수준의 출력을 평균하여 확보한다.
• 5폴드 교차검증 설정을 사용하며, 각 폴드에서 20에포크 동안 훈련을 수행한다. 훈련에 사용된 오디오-EEG 데이터는 인간 청취자로부터 수집된 총 2.5시간 분량이다.
• 훈련된 모델을 프oxy 태스크인 오디오-가사 간 다중모달 검색에서 특징 추출기로 활용한다.
• Spotify의 수작업 특징과 비교하며, 2083시간 이상의 오디오 데이터로 훈련된 SOTA 모델(Choi 등)과의 성능를 비교한다.

실험 결과

연구 질문

• RQ1 EEG 신호가 오디오 외의 정보를 포함하여 딥 러닝 모델의 음악 의미학 모델링을 향상시키는 데 효과적인 정규화 요소가 될 수 있는가?
• RQ2 DCCA 기반의 오디오 및 EEG 공동 임베딩 공간이 오디오 전용 모델보다 더 우수한 전이 가능한 표현을 제공하는가?
• RQ3 3시간 미만의 오디오-EEG 데이터로 훈련된 모델이 700배 이상 더 많은 데이터로 훈련된 SOTA 모델을 능가할 수 있는가?
• RQ4 인지적 뇌파 신호의 포함이 음악 의미 임베딩의 품질과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 제안된 EEG 정규화 모델은 오디오-가사 검색에서 인스턴스 기반 평균 역수 순위(MRR) 24.6%를 기록하여 Spotify의 23.4%를 초월한다.
• 모델은 클래스 기반 MRR 36.2%를 달성하여 Spotify의 35.1%를 뛰어넘고, Choi 등의 SOTA 모델(36.5%)과 동등한 성능을 보였다.
• 3시간 미만의 오디오-EEG 데이터로 훈련되었음에도 불구하고, 2083시간 이상의 오디오 데이터로 훈련된 모델와 유사한 성능을 보였다.
• 단일 GPU에서 약 20분 내로 훈련을 완료하여 높은 훈련 효율성을 입증했다.
• 정성적 이점으로는 오디오와 EEG 간의 세밀한 시간적 정렬과 고정된 의미 체계의 회피가 있다.
• 향후 잔차 연결, 임베딩 집계를 위한 LSTMs, 개인화된 주제 모델링 등의 개선을 통해 성능 향상이 기대된다.