[논문 리뷰] Learning Transposition-Invariant Interval Features from Symbolic Music and Audio

Stefan Lattner, Maarten Grachten외 1명|arXiv (Cornell University)|2018. 06. 21.

Music and Audio Processing참고 문헌 31인용 수 9

한 줄 요약

이 논문은 음악의 이질성에 영향을 받지 않는 간격 표현을 학습하기 위해, 기호 음악과 음성 데이터에서 새로운 이질성 증강 훈련 절차를 사용하는 게이트드 오토에인코더(GAE)를 제안한다. 이 방법은 음악적으로 의미 있는 고정 길이의 벡터 표현을 생성하며, 간격 관계를 유지하고 반복적인 음악적 구간 탐지에서 최신 기술 수준의 성능을 달성한다. 음성 MIREX 과제에서 F3 점수 51.61을 기록하여 이전 최고 성능인 50.60보다 1.01점 향상되었다.

ABSTRACT

Many music theoretical constructs (such as scale types, modes, cadences, and chord types) are defined in terms of pitch intervals---relative distances between pitches. Therefore, when computer models are employed in music tasks, it can be useful to operate on interval representations rather than on the raw musical surface. Moreover, interval representations are transposition-invariant, valuable for tasks like audio alignment, cover song detection and music structure analysis. We employ a gated autoencoder to learn fixed-length, invertible and transposition-invariant interval representations from polyphonic music in the symbolic domain and in audio. An unsupervised training method is proposed yielding an organization of intervals in the representation space which is musically plausible. Based on the representations, a transposition-invariant self-similarity matrix is constructed and used to determine repeated sections in symbolic music and in audio, yielding competitive results in the MIREX task "Discovery of Repeated Themes and Sections".

연구 동기 및 목표

• 기호 음악과 음성 데이터로부터 이질성에 강인한 간격 표현을 학습하는 딥 러닝 모델을 개발하는 것.
• 음악에서 흔히 발생하는 음고 이질성에도 불구하고 반복적인 음악적 구간을 탐지하는 과제를 해결하는 것.
• 간격 관계(예: 트리톤, 옥타브 등)가 의미적으로 표현되는 음악적으로 타당한 표현 공간을 만드는 것.
• 특히 음성 영역에서 반복된 주제나 구간을 탐지하는 데 있어 MIREX 과제에서의 성능을 향상시키는 것.
• 오디오-스코어 정렬 및 멜로디 검색과 같은 응용 분야에서 효율적이고 이질성에 강인한 유사도 계산을 가능하게 하는 것.

제안 방법

• 고정 길이의 가역 표현을 학습하기 위해 이원선형 아키텍처를 갖춘 게이트드 오토에인코더(GAE)를 사용한다.
• 현재 음의 복원 오차를 최소화하기 위해 노이즈 제거 오토에인코더 목적 함수를 사용하여 훈련한다.
• 새로운 이질성 증강 훈련 절차를 도입한다: 훈련 중에 입력 시퀀스가 무작위로 이질화되며, 모델은 이질화 여부에 관계없이 동일한 표현을 생성하도록 학습한다.
• 반복적인 음악적 구간을 식별하기 위해 이질성에 강인한 자기유사성 행렬에 대각선 검출기(diagonal detector)를 적용한다.
• 공통된 아키텍처와 훈련 전략을 사용하여 기호 음악(MIDI)과 음성(스펙트로그램)에 모두 적용한다.
• GAE에서의 곱셈 상호작용을 활용하여 음고 간격이 자연스럽게 표현되도록 하여 모델이 음악적으로 관련된 관계를 포착하도록 한다.

실험 결과

연구 질문

• RQ1 딥 네ural 네트워크는 원시 기호 음악과 음성 음악 데이터로부터 이질성에 강인한 간격 표현을 학습할 수 있는가?
• RQ2 학습된 표현 공간은 옥타브 등가성과 트리톤의 독립성과 같은 음악적으로 의미 있는 간격 관계를 반영하는가?
• RQ3 이질성에 강인한 표현은 기호 음악과 음성 음악 모두에서 반복적인 음악적 구간 탐지 성능을 향상시키는가?
• RQ4 MIREX 과제에서 반복된 구간 탐지에 있어 모델의 성능은 최신 기술 수준과 비교해 어떻게 되는가?
• RQ5 모델의 이질성에 강인한 특성가 실제 음악 분석 과제(예: 오디오-스코어 정렬 및 멜로디 검색)에서 효과적인가?

주요 결과

• 모델은 음악적으로 관련된 간격 관계를 유지하는 이질성에 강인한 표현을 학습한다. 예를 들어, 같은 피치 클래스를 가진 간격(예: +8과 -4도)이 임베딩 공간에서 가까이 위치한다.
• 표현 공간은 음악적 구조를 반영한다: 트리톤 간격은 고유하고 분리된 영역으로 맵핑되며, 이는 딜라토닉 음악에서의 희귀성과 인지적 독립성을 나타낸다.
• 표현 공간에서의 근접 이웃들은 입력 공간보다 더 많은 피치 간격을 공유한다. 이는 모델이 절대 음고가 아닌 상대 음고 관계를 학습하고 있음을 확인한다.
• 모델은 MIREX 음성 과제에서 반복된 구간 탐지에 대해 F3 점수 51.61을 기록하여 이전 최고 성능인 50.60보다 1.01점 향상되었다.
• 기호 데이터로 훈련되었음에도 불구하고, 모델은 음성 MIREX에서의 성능보다 기호 MIREX에서 略로 낮은 성능을 보였는데, 이는 실제 변형 상황에서 정확한 매칭보다는 근사 매칭(스펙트로그램에 의해 더 잘 지원됨)이 더 효과적이기 때문일 것이다.
• 계산적으로 효율적이다. 이질성에 강인한 특성 덕분에 이질화된 변형을 명시적으로 비교하지 않고도 직접 유사도 계산이 가능하기 때문이다.