[논문 리뷰] Efficient Learning of Harmonic Priors for Pitch Detection in Polyphonic Music

Pablo A. Alvarado, Dan Stowell|arXiv (Cornell University)|2017. 05. 19.

Music and Audio Processing참고 문헌 20인용 수 6

한 줄 요약

이 논문은 다성분 음악에서의 테너 추정 성능을 향상시키기 위해 물리적으로 유용한 조화 구조 사전 지식을 학습하는 새로운 매트른 스펙트럼 혼합(MSM) 커널을 갖춘 베이지안 가우시안 프로세스 모델을 제안한다. 시그모이드 또는 소프트맥스 비선형 변환을 통해 진폭 환경과 테너 활성화를 동시에 모델링하고, 변분 베이즈를 사용하여 확장 가능한 추론을 수행함으로써, 활성화된 노트의 수에 대한 사전 지식이 필요 없이도 복잡한 조화적 구조를 효과적으로 포착할 수 있다. 이로 인해 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Automatic music transcription (AMT) aims to infer a latent symbolic representation of a piece of music (piano-roll), given a corresponding observed audio recording. Transcribing polyphonic music (when multiple notes are played simultaneously) is a challenging problem, due to highly structured overlapping between harmonics. We study whether the introduction of physically inspired Gaussian process (GP) priors into audio content analysis models improves the extraction of patterns required for AMT. Audio signals are described as a linear combination of sources. Each source is decomposed into the product of an amplitude-envelope, and a quasi-periodic component process. We introduce the Matérn spectral mixture (MSM) kernel for describing frequency content of singles notes. We consider two different regression approaches. In the sigmoid model every pitch-activation is independently non-linear transformed. In the softmax model several activation GPs are jointly non-linearly transformed. This introduce cross-correlation between activations. We use variational Bayes for approximate inference. We empirically evaluate how these models work in practice transcribing polyphonic music. We demonstrate that rather than encourage dependency between activations, what is relevant for improving pitch detection is to learnt priors that fit the frequency content of the sound events to detect.

연구 동기 및 목표

• 다성분 음악의 자동 음악 변환(AMT) 성능을 향상시키기 위해 물리적으로 유용한 사전 지식을 확률 모델에 통합하는 것.
• 가우시안 프로세스를 사용하여 공명/감쇠 환경과 스펙트럼 구성 요소를 포함한 복잡한 음악 노트의 조화적 구조를 모델링하는 것.
• 변분 베이즈 근사를 통해 장시간 음성 신호에 대한 확장 가능한 추론을 가능하게 하는 것.
• 사전 지정이 필요 없이 데이터로부터 직접 활성화된 음의 수를 학습하는 것.
• 소프트맥스를 통한 테너 활성화 간 상관관계와 MSM 커널을 통한 정확한 조화적 사전 지식 중 어느 것이 성능 향상에 더 중요한지 조사하는 것.

제안 방법

• 음성을 각각 진폭 환경과 준주기적 성분으로 구성된 소스들의 선형 조합으로 모델링하며, 이 성분들은 가우시안 프로세스를 통해 표현된다.
• 장기적 의존성과 주파수 도메인 내 조화적 구성 요소를 포착하기 위해 로렌츠 기반 함수를 사용하는 매트른 스펙트럼 혼합(MSM) 커널을 도입한다.
• 테너 활성화 가우시안 프로세스에 시그모이드 및 소프트맥스 비선형 변환을 적용하여 음성의 비음성과 희박성을 강제하며, 후자는 상호 상관관계를 도입한다.
• 계산 비용을 줄이기 위해 4차원 적분을 1차원 적분의 조합으로 대체함으로써 변분 베이즈를 사용하여 근사 추론을 수행한다.
• 매트른-1/2 커널의 푸리에 변환으로 유도된 로렌츠 함수의 혼합 기반 스펙트럼 밀도 모델을 활용한다.
• 주파수 도메인에서 모델의 하이퍼파rameter를 학습함으로써 악기 특성에 맞는 조화적 구조를 더 잘 반영한다.

실험 결과

연구 질문

• RQ1 물리적으로 영감을 얻은 가우시안 프로세스 사전 지식을 도입함으로써 다성분 음악에서의 테너 추정 성능이 향상되는가?
• RQ2 소프트맥스를 통한 테너 활성화 간 상관관계가 MSM 커널을 통한 정확한 조화적 사전 지식보다 더 유익한가?
• RQ3 모델이 사전 지정 없이 음성 신호로부터 직접 활성화된 음의 수를 학습할 수 있는가?
• RQ4 매트른 스펙트럼 혼합 커널은 표준 커널에 비해 조화적 구성 요소를 모델링하는 데 어떻게 비교되는가?
• RQ5 변분 베이즈는 장시간 지속되는 음성 신호에 대해 확장 가능한 추론을 얼마나 잘 가능하게 하는가?

주요 결과

• 테너 추정 성능 향상의 핵심 요소는 활성화 간 상관관계를 강제하는 것이 아니라, 매트른 스펙트럼 혼합 커널을 통한 정확한 조화적 사전 지식 학습이다.
• MSM 커널은 다성분 신호 내에서 복잡한 조화적 구성 요소와 장기적 의존성을 효과적으로 모델링하며, 표준 커널보다 뛰어난 성능을 보인다.
• 소프트맥스 모델의 상호 상관관계는 성능 향상에 크게 기여하지 않으며, 이는 조화적 사전 지식 학습이 활성화 상관관계보다 더 중요하다는 것을 시사한다.
• 변분 베이즈를 통해 4차원 적분을 1차원 적분의 조합으로 줄임으로써, 초 단위 길이의 음성 신호에 대해 효율적인 추론이 가능해진다.
• 모델은 사전에 고정된 음향 이벤트 수를 지정할 필요 없이 최신 기술 수준의 성능을 달성한다.
• 데이터 기반으로 조화적 구조를 학습함으로써, 다양한 악기와 다성분 텍스처에 대해 잘 일반화된다.