[논문 리뷰] Embeddings as representation for symbolic music

Sebastian Garcia-Valencia|arXiv (Cornell University)|2020. 05. 19.

Music and Audio Processing참고 문헌 9인용 수 5

한 줄 요약

이 논문은 신경망 임베딩을 사용하여 기호 음악을 표현하는 것을 제안하며, 학습된 벡터 표현이 옥타브 등가성, 간격 유사성, 음정계 관계와 같은 의미 있는 음악적 관계를 포착함을 보여준다. t-SNE를 통해 시각화한 결과, 노트 기반 및 간격 기반 표현의 임베딩은 음악적 의미에 해당하는 구조적인 클러스터를 드러내며, 모델의 아키텍처를 변경하지 않고도 내재된 음악 지식을 인코딩하고 있음을 보여준다.

ABSTRACT

A representation technique that allows encoding music in a way that contains musical meaning would improve the results of any model trained for computer music tasks like generation of melodies and harmonies of better quality. The field of natural language processing has done a lot of work in finding a way to capture the semantic meaning of words and sentences, and word embeddings have successfully shown the capabilities for such a task. In this paper, we experiment with embeddings to represent musical notes from 3 different variations of a dataset and analyze if the model can capture useful musical patterns. To do this, the resulting embeddings are visualized in projections using the t-SNE technique.

연구 동기 및 목표

• 자연어 처리(NLP)에서 사용하는 단어 임베딩 기법이 기호 음악을 의미론적으로 표현하는 데 어떻게 적용될 수 있는지 조사하기 위해.
• 학습된 임베딩이 옥타브 관계나 간격 유사성과 같은 음악적으로 관련된 패턴을 포착하는지 평가하기 위해.
• 원시 노트, 변조된 노트, 간격 시퀀스와 같은 다양한 데이터 표현 방식이 벡터 공간에서 음악적 구조를 얼마나 잘 인코딩하는지 비교하기 위해.
• 변조를 통한 데이터 증강이 임베딩 품질과 의미 클러스터링에 어떤 영향을 미치는지 평가하기 위해.

제안 방법

• 128차원 임베딩 레이어를 갖춘 단방향 LSTM 기반 모델을 훈련하여 음역과 간격의 표현을 학습하기 위해.
• 세 가지 데이터 변형을 사용: (1) 원본 MIDI 노트(기준 데이터셋), (2) 12개 조성에서 변조된 버전(DB12), (3) 연속된 노트 간의 상대 세미톤 간격.
• 고차원 임베딩(128D)을 2D 및 3D로 투사하기 위해 t-SNE를 적용하여 시각화 및 패턴 분석을 수행하기 위해.
• 임베딩 공간 내의 가장 가까운 이웃을 평가하여 의미적 유사성과 클러스터링 행동을 분석하기 위해.
• 벡터 공간 내 임베딩 간의 유사도를 측정하기 위해 코사인 유사도를 사용하기 위해.
• 클러스터와 임베딩 내 구조적 패턴을 해석하기 위해 TensorBoard를 사용하여 결과를 시각화하기 위해.

실험 결과

연구 질문

• RQ1 학습된 임베딩이 기호 음악에서 옥타브 등가성과 간격 유사성과 같은 음악적으로 의미 있는 관계를 포착할 수 있는가?
• RQ2 변조를 통한 데이터 증강이 임베딩의 구조와 클러스터링에 어떤 영향을 미치는가?
• RQ3 간격 기반 표현 방식이 노트 기반 표현 방식보다 더 일관된 의미 클러스터를 생성하는가?
• RQ4 t-SNE 시각화를 통해 고차원 임베딩 공간에서 해석 가능한 음악 패턴을 드러낼 수 있는가?

주요 결과

• DB12 데이터셋(변조 포함)에서 훈련된 임베딩은 같은 음명이지만 옥타브가 다른 노트들(예: C4, C6, C8)을 가장 가까운 이웃으로 배치하여 옥타브 등가성이 학습되었음을 시사한다.
• 기준 데이터셋에서는 중앙 C(C5)의 가장 가까운 이웃이 여러 옥타브에 걸쳐 분포되어 있었으며(예: E10, C9, E9), 이는 데이터 증강 없이 덜 구조적인 클러스터링을 유도함을 나타낸다.
• 간격 기반 임베딩 모델은 소삼도(3), 소이도(1), 완전4도(5)와 같은 세미톤 간격을 서로 가까이 모아 클러스터링하여 간격 공간 내 의미적 유사성이 잘 반영되었음을 보여준다.
• DB12 데이터셋은 12배 더 크지만 유일한 임베딩은 오직 118개만 학습되었으며, 이는 동일한 음정계에 해당하는 표현이 변조로 인해 겹치게 됨을 의미한다.
• t-SNE 시각화 결과, 저음, 중음, 고음, 변조된 음을 위한 별도의 클러스터가 명확히 드러나, 임베딩이 음역과 부호를 의미론적 특성으로 인코딩하고 있음을 확인한다.
• 소삼도 간격(3)의 가장 가까운 이웃으로는 동음(0), 소이도(1), 마이저2도(2), 완전4도(5) 등 일반적인 간격들이 포함되어 있어, 간격의 의미론이 임베딩 공간에 잘 유지되었음을 보여준다.