[논문 리뷰] Modeling Musical Context with Word2vec

Dorien Herremans, Ching‐Hua Chuan|arXiv (Cornell University)|2017. 06. 28.

Music and Audio Processing참고 문헌 16인용 수 14

한 줄 요약

이 논문은 베토벤 피아노 소나타의 음악 스냅샷에서 의미적 벡터 표현을 학습하기 위해 음성 샘플링을 사용하는 word2vec 기반 스킵그램 모델을 제안한다. 다성음 음악을 맥락이 풍부한 세그먼트의 연속으로 간주함으로써, 모델은 명시적인 음악적 특징 없이도 조성 관계를 포착하며, 코사인 유사도 기반 교체가 낮은 조성 거리를 유지함으로써 분포 의미론을 통한 음악적 맥락의 효과적인 모델링을 보여준다.

ABSTRACT

We present a semantic vector space model for capturing complex polyphonic musical context. A word2vec model based on a skip-gram representation with negative sampling was used to model slices of music from a dataset of Beethoven's piano sonatas. A visualization of the reduced vector space using t-distributed stochastic neighbor embedding shows that the resulting embedded vector space captures tonal relationships, even without any explicit information about the musical contents of the slices. Secondly, an excerpt of the Moonlight Sonata from Beethoven was altered by replacing slices based on context similarity. The resulting music shows that the selected slice based on similar word2vec context also has a relatively short tonal distance from the original slice.

연구 동기 및 목표

• 음악적 특징(예: 코드나 리듬)을 명시적으로 제공하지 않고도 word2vec 모델이 복잡한 다성음 음악 맥락을 모델링할 수 있는지 조사하기 위해.
• 벡터 공간 내의 의미적 유사도가 음악에서의 조성적 근접성과 대응하는지 평가하기 위해.
• 맥락 유사도 기반으로 음악 스냅샷을 교체하고 조성 연속성을 평가하여 모델의 실용적 유용성을 테스트하기 위해.
• 伝통적인 음악학적 특징을 초월하여 신경망 기반 분포 의미론이 음악 표현에 어떻게 활용될 수 있는지 탐색하기 위해.

제안 방법

• 노트 발동 간의 가장 빈번한 시간 간격을 기반으로 각 음악 작품을 겹치지 않는 등장 길이의 스냅샷으로 나누기.
• 각 스냅샷을 코퍼스 내의 '단어'로 간주하며, 유지되는 음도 포함한 모든 활성 음을 유지하기.
• 고차원 공간에서 음악 스냅샷의 조밀한 벡터 표현을 학습하기 위해 음성 샘플링을 사용하는 스킵그램 모델 훈련하기.
• 스냅샷 벡터 간의 코사인 유사도를 사용하여 맥락적으로 유사한 음악 세그먼트 식별하기.
• 고차원 벡터 공간을 감소시키고 시각화하기 위해 t-SNE 적용하여 조성 관계 매핑하기.
• 모델에서 가장 맥락적으로 유사한 스냅샷을 사용해 음악 개별의 원본 스냅샷을 교체하고, 톤넷츠 기반 지표를 사용해 조성 거리 측정하기.

실험 결과

연구 질문

• RQ1 원시 음악 스냅샷을 기반으로 훈련된 word2vec 모델이 명시적인 음악적 특징 공학 없이도 의미 있는 음악 맥락 표현을 학습할 수 있는가?
• RQ2 직접적인 음정 또는 코드 정보 없이도 결과 벡터 공간이 완전한 5도나 증오음과 같은 조성 관계를 반영하는가?
• RQ3 word2vec 유사도 기반으로 음악 스냅샷을 교체할 때, 음악 개별에서 조성 연속성이 얼마나 잘 유지되는가?
• RQ4 다중 스냅샷을 넘어선 지속 음은 모델이 어떻게 처리하는가? 이로 인해 드러나는 한계는 무엇인가?
• RQ5 모델은 고립된 코드를 초월하여 복잡한 다성음 텍스처와 같은 음악적 구조로 일반화할 수 있는가?

주요 결과

• 학습된 벡터 공간의 t-SNE 시각화 결과, 명시적인 조성 정보 없이도 C와 G(완전 5도 차이)와 같은 조성적으로 관련된 코드들이 군집하는 경향을 보였다.
• 조성적으로 거리가 먼 관계를 가진 스냅샷, 예를 들어 E와 Eb는 감소된 공간에서 명확한 군집을 형성하여, 조성 근접성이 임베딩에 포함되어 있음을 확인했다.
• 원본 스냅샷을 코사인 유사도 기반으로 가장 맥락적으로 유사한 스냅샷으로 교체한 결과, 원본과 수정된 스냅샷 간 평균 조성 거리는 낮게 유지되었다(예: D♭ 메이저 트리아드 교체 시 약 1.25).
• 수정된 음악 개별의 청각적 및 정량적 연속성이 유지됨으로써, 모델이 다성음 음악에서 맥락 유사성을 효과적으로 포착하고 있음을 입증했다.
• 보컬 리딩 제약은 모델이 포착하지 못했으며, 특히 음역 조정을 통해 더 나은 보컬 리딩을 이룰 수 있는 경우가 있었음을 통해, 음성 독립성 모델링에 한계가 있음을 보여주었다.