[論文レビュー] Optimal spectral transportation with application to music transcription

Rémi Flamary, Cédric Févotte+2 more|arXiv (Cornell University)|Sep 30, 2016

Speech and Audio Processing被引用数 17

ひとこと要約

本稿では、周波数の微小なシフトや調波関係に由来するエネルギーのずれに対して不変であるように設計された、最適輸送理論を用いてスペクトルエネルギー分布間の類似度を測定する、音楽譜書き起こしのための新規なスペクトルアンミキシングフレームワーク、最適スペクトル輸送（OST）を提案する。複雑な楽器固有のスペクトルテンプレートの代わりに基本周波数に配置された単純なデルタ関数（ディラックデルタ関数）を用いることで、高速で正確かつ頑健な譜書き起こしアルゴリズムを実現し、従来の最先端手法に比べて精度と速度の両面で優れている。実世界のデータにおいて、F-measureを約10%向上させるとともに、最大750倍の高速化を達成している。

ABSTRACT

Many spectral unmixing methods rely on the non-negative decomposition of spectral data onto a dictionary of spectral templates. In particular, state-of-the-art music transcription systems decompose the spectrogram of the input signal onto a dictionary of representative note spectra. The typical measures of fit used to quantify the adequacy of the decomposition compare the data and template entries frequency-wise. As such, small displacements of energy from a frequency bin to another as well as variations of timber can disproportionally harm the fit. We address these issues by means of optimal transportation and propose a new measure of fit that treats the frequency distributions of energy holistically as opposed to frequency-wise. Building on the harmonic nature of sound, the new measure is invariant to shifts of energy to harmonically-related frequencies, as well as to small and local displacements of energy. Equipped with this new measure of fit, the dictionary of note templates can be considerably simplified to a set of Dirac vectors located at the target fundamental frequencies (musical pitch values). This in turns gives ground to a very fast and simple decomposition algorithm that achieves state-of-the-art performance on real musical data.

研究の動機と目的

• 従来のスペクトルアンミキシング手法が微小な周波数シフトやトーンの変化に敏感であるという限界を克服すること。
• 周波数ごとの比較ではなく、連続的分布として扱うことで、スペクトルエネルギー分布の適合度を包括的に測定すること。
• 基本周波数に配置された最小限の固定辞書（デルタ関数）を用いることで、譜書き起こしモデルの簡略化を可能にすること。
• 従来のNMFベースの手法と比較して、著しく計算コストを低減しつつ、最先端の性能を達成すること。
• 調波関係や局所的なエネルギーずれに対して不変な、柔軟なフレームワークを提供すること。

提案手法

• 楽器信号の調波構造を符号化する新しい輸送コスト行列を導入し、周波数ビン間でのエネルギーの微小な局所的シフトに対して不変となるように設計する。
• 最適輸送（OT）を用いて、観測されたスペクトログラムと辞書テンプレートとの距離を計算し、各スペクトルを周波数ビン上の確率分布として扱う。
• 辞書を、目的の基本周波数（例：MIDIノート周波数）に配置されたデルタ関数に簡略化することで、複雑な楽器固有のスペクトルテンプレートの必要性を排除する。
• コスト行列の構造とデルタ辞書のスパarsityを活用して高速アルゴリズムを導出し、ニアリアルタイム処理を可能にする。
• 非調和的エネルギーを補償するためのフラット成分を追加した、ノイズに頑健な拡張版（OST e + noise）を提案し、耐障害性を向上させる。
• 新しいコスト構造下で最適輸送問題の閉形式解を用いることで、反復的最適化を回避する。

実験結果

リサーチクエスチョン

• RQ1 微小な局所的エネルギーシフトに強く、同時に調波構造を保持するスペクトルアンミキシングフレームワークを設計できるか？
• RQ2 基本周波数に配置された最小限のデルタテンプレート辞書が、最先端の譜書き起こし精度を達成できるか？
• RQ3 最適輸送を音楽的スペクトルに適応させ、調波周波数関係や非調和性に対して不変となるようにできるか？
• RQ4 輸送に基づく適合度測定が、従来の周波数ごとの指標（例：KLダイバージェンス）を上回る性能を発揮するか？
• RQ5 このような手法が、従来のNMFベースの手法と比較して、高い精度と極めて高い計算効率の両方を達成できるか？

主な発見

• OST e + noiseはMAPSデータセットで平均F-measure 0.684を達成し、PLCA（0.624）およびOST（0.563）と比較して約10%の向上を示した。
• OST e + noiseはPLCAと比較して750倍の高速化を達成し、平均してアンミキシング時間が14.861秒から0.202秒に短縮された。
• OSTはオクターブ誤りに対してPLCAよりも頑健であり、スペクトル干渉や振幅変調の影響で失敗する可能性があるピアノ音においても、真の基本周波数（MIDI 50）を正しく同定できた。
• 基本周波数に配置されたデルタテンプレートと、調波に配慮したコスト行列の組み合わせにより、精度を損なわずに単純かつ高速なアルゴリズムが実現された。
• 非調和性やトーンの変化に対しても頑健であることが実証され、非同期な部分音や振幅の変動を伴う複雑なピアノ音の正確な譜書き起こしが可能であった。
• 提案されたフレームワークは計算的に効率的かつスケーラブルであり、https://github.com/rflamary/OST でリアルタイムデモが利用可能である。