[논문 리뷰] Optimal spectral transportation with application to music transcription

Rémi Flamary, Cédric Févotte외 2명|arXiv (Cornell University)|2016. 09. 30.

Speech and Audio Processing인용 수 17

한 줄 요약

이 논문은 최적 운반 이론을 활용하여 주파수 이동과 조화적으로 관련된 에너지 이동에 대해 불변인 방식으로 스펙트럼 에너지 분포 간 유사도를 측정함으로써, 음악 편집에 대한 새로운 스펙트럼 분해 프레임워크인 최적 스펙트럼 운반(Optimal Spectral Transportation, OST)을 제안한다. 복잡한 기악 특화 스펙트럼 템플릿 대신 기본 주파수에서의 딜라 델타 함수를 사용함으로써, 빠르고 정확하며 강인한 음정 알고리즘을 가능하게 하여, 기존 최첨단 방법에 비해 정확도와 속도 면에서 모두 뛰어난 성능을 보이며, 실제 데이터에서 약 10% 향상된 F-측정치를 기록하고, 최대 750배 빠른 처리 속도를 달성한다.

ABSTRACT

Many spectral unmixing methods rely on the non-negative decomposition of spectral data onto a dictionary of spectral templates. In particular, state-of-the-art music transcription systems decompose the spectrogram of the input signal onto a dictionary of representative note spectra. The typical measures of fit used to quantify the adequacy of the decomposition compare the data and template entries frequency-wise. As such, small displacements of energy from a frequency bin to another as well as variations of timber can disproportionally harm the fit. We address these issues by means of optimal transportation and propose a new measure of fit that treats the frequency distributions of energy holistically as opposed to frequency-wise. Building on the harmonic nature of sound, the new measure is invariant to shifts of energy to harmonically-related frequencies, as well as to small and local displacements of energy. Equipped with this new measure of fit, the dictionary of note templates can be considerably simplified to a set of Dirac vectors located at the target fundamental frequencies (musical pitch values). This in turns gives ground to a very fast and simple decomposition algorithm that achieves state-of-the-art performance on real musical data.

연구 동기 및 목표

• 기존의 스펙트럼 분해 방법이 소규모 주파수 이동과 톤의 변화에 민감한 점을 해결하기 위해.
• 스펙트럼 에너지 분포를 주파수 별 비교가 아닌 연속적인 분포로 간주하여, 통합적인 적합도 측정법을 제안하기 위해.
• 기본 주파수에 위치한 딜라 템플릿의 최소한의 고정 사전를 사용할 수 있도록 하여, 편집 모델을 단순화하기 위해.
• 기존의 NMF 기반 접근법에 비해 훨씬 낮은 계산 비용으로 최첨단 성능을 달성하기 위해.
• 조화관계 및 국소적 에너지 이동에 대해 불변인 영리한 프레임워크를 제공하기 위해.

제안 방법

• 음악 신호의 조화적 구조를 반영하는 새로운 운반 비용 행렬을 도입하여, 주파수 빈에 걸친 에너지의 소규모 국소적 이동에 대해 불변성을 확보한다.
• 관측된 스펙트로그램과 사전 템플릿 간의 거리를 최적 운반(OT)을 통해 계산하며, 각 스펙트럼을 주파수 빈에 대한 확률 분포로 간주한다.
• 사전는 기본 주파수(예: MIDI 음도 주파수)에 위치한 딜라 델타 함수로 단순화되어, 기악 특화 스펙트럼 템플릿이 필요 없게 된다.
• 비용 행렬의 구조와 딜라 사전의 희소성 특성을 활용하여 빠른 알고리즘을 유도함으로써, 거의 실시간 처리가 가능해진다.
• 비선형 에너지의 영향을 고려하기 위해 평탄한 성분을 추가한 노이즈 불변 변형(OST e + noise)을 도입하여 강인성을 향상시켰다.
• 새로운 비용 구조 하에서 최적 운반 문제의 닫힌 형태 해를 사용하여 반복 최적화를 피하는 방법을 구현하였다.

실험 결과

연구 질문

• RQ1 소규모 국소적 주파수 이동에 대해 강인하면서도 조화적 구조를 유지하는 스펙트럼 분해 프레임워크를 설계할 수 있는가?
• RQ2 기본 주파수에 위치한 최소한의 딜라 템플릿 사전가 최첨단 음정 정확도를 달성할 수 있는가?
• RQ3 최적 운반을 음악 스펙트럼에 적응시켜 조화 주파수 관계와 비조화성에 대해 불변성을 확보할 수 있는가?
• RQ4 운반 기반의 적합도 측정법이 기존의 주파수 별 지표(예: KL 발산)보다 음악 편집 작업에서 더 우수한 성능을 보일 수 있는가?
• RQ5 기존의 NMF 기반 접근법에 비해 높은 정확도와 극도로 빠른 계산 효율성을 동시에 달성할 수 있는가?

주요 결과

• OST e + noise는 MAPS 데이터셋에서 평균 F-측정치 0.684를 기록하여, PLCA(0.624)와 OST(0.563)에 비해 약 10% 향상된 성능을 보였다.
• OST e + noise는 PLCA 대비 750배 빠른 처리 속도를 기록하였으며, 평균 분해 시간은 14.861초에서 0.202초로 감소하였다.
• OST는 옥타브 오류에 대해 PLCA보다 강인한 성능을 보였으며, 스펙트럼 비트 및 진폭 변조로 인해 PLCA가 실패하는 피아노 음에서 진짜 기본 주파수(MIDI 50)를 정확히 식별하였다.
• 기본 주파수에 위치한 딜라 템플릿과 조화적 인식 비용 행렬을 조합함으로써, 정확도를 희생시키지 않은 채로 단순하고 빠른 알고리즘을 구현할 수 있었다.
• 비조화성과 톤의 변화에 대해 강인한 성능을 보였으며, 비동기 부분과 다양한 진폭을 가진 복잡한 피아노 음의 정확한 편집이 가능했다.
• 제안된 프레임워크는 계산 효율성이 뛰어나고 확장 가능하며, 실시간 데모는 https://github.com/rflamary/OST 에서 확인할 수 있다.