[論文レビュー] Extended playing techniques: The next milestone in musical instrument recognition

Vincent Lostanlen, Joakim Andén+1 more|arXiv (Cornell University)|Aug 29, 2018

Music and Audio Processing参考文献 33被引用数 7

ひとこと要約

本論文は、16種の楽器で143の拡張技術を含む、細分化された楽器演奏技術（IPT）認識のための新規ベンチマークを提示する。61.0%の精度（ランク5）を達成し、MFCCベースラインの44.5%を著しく上回る。ウェーブレットスキャattering変換、長距離時間的モデリング、および大マージン最近傍（LMNN）メトリック学習を組み合わせることで、スペクトロテイマルパターンを捉え、クラス内ばらつきを低減する。

ABSTRACT

The expressive variability in producing a musical note conveys information essential to the modeling of orchestration and style. As such, it plays a crucial role in computer-assisted browsing of massive digital music corpora. Yet, although the automatic recognition of a musical instrument from the recording of a single "ordinary" note is considered a solved problem, automatic identification of instrumental playing technique (IPT) remains largely underdeveloped. We benchmark machine listening systems for query-by-example browsing among 143 extended IPTs for 16 instruments, amounting to 469 triplets of instrument, mute, and technique. We identify and discuss three necessary conditions for significantly outperforming the traditional mel-frequency cepstral coefficient (MFCC) baseline: the addition of second-order scattering coefficients to account for amplitude modulation, the incorporation of long-range temporal dependencies, and metric learning using large-margin nearest neighbors (LMNN) to reduce intra-class variability. Evaluating on the Studio On Line (SOL) dataset, we obtain a precision at rank 5 of 99.7% for instrument recognition (baseline at 89.0%) and of 61.0% for IPT recognition (baseline at 44.5%). We interpret this gain through a qualitative assessment of practical usability and visualization using nonlinear dimensionality reduction.

研究の動機と目的

• 拡張楽器演奏技術（IPT）の自動認識に関する体系的でない研究の欠如に対処する。IPTは音楽的スタイルやオ케ストレーションモデリングにおいて重要である。
• IPTを、基本的な楽器やピッチ分類を超えたデジタル音楽ライブラリの組織化のための中レベル記述子として認識する。
• 演奏者によるジェスチャーと拡張技術によるトーン表現の高まるクラス内ばらつきの課題を克服する。
• 多様な楽器や技術を跨いで類似するIPTを検索可能な、例による照会（query-by-example）システムを開発する。
• 469の楽器・ミュート・技術の三つ組と143のIPTクラスを含む、Studio On Line（SOL）データセットを用いた大規模ベンチマークを確立する。

提案手法

• 振幅変調と高調波構造を捉えるために、ロバストで安定したスペクトロテイマル特徴を抽出するウェーブレットベースのスキャattering変換を採用する。
• 非線形性と音声信号内の時間的変調をモデル化するため、2次スキャattering係数を統合する。
• 局所的なスペクトルエンVELOPEを超えて、音声信号内の長距離時間的依存性をモデル化するため、再帰的ニューラルネットワーク（LSTM）を用いる。
• 埋め込み空間内で類似するIPTクラスを近づけることで、クラス内ばらつきを低減するため、大マージン最近傍（LMNN）メトリック学習を適用する。
• MFCCとスキャattering特徴を組み合わせ、LMNNで後処理することで、楽器およびIPT認識の両方における識別力を向上させる。
• 拡散マップを用いて学習された表現を可視化し、特徴空間の分離効果を解釈する。

実験結果

リサーチクエスチョン

• RQ1 マシンリスニングシステムは、大規模かつ多楽器の分類体系において、拡張演奏技術（IPT）を効果的に認識できるか？
• RQ2 IPT認識タスクにおいて、従来のMFCCを著しく上回る特徴量とアーキテクチャは何か？
• RQ3 振幅変調、時間的ダイナミクス、およびクラス内ばらつきは、IPT認識性能にどのように影響するか？
• RQ4 メトリック学習とスキャattering変換は、IPTのための音声埋め込みの識別力をどの程度向上できるか？
• RQ5 学習された埋め込み空間における自動類似性測定と、人的な類似性の間には、どの程度の一致があるか？

主な発見

• 提案手法は、楽器認識においてランク5で99.7%の精度を達成し、MFCCベースラインの89.0%を著しく上回る。
• IPT認識において、本手法はランク5で61.0%の精度に達し、MFCCベースラインの44.5%を著しく上回る。
• スキャattering変換は、MFCCとは異なり、低次元埋め込み空間で楽器クラス（例：バイオリン対トランペット）や演奏技術（例：トゥルーリング対オルディナリオ）を効果的に分離する。
• 2次スキャattering、長距離依存性のLSTMモデリング、およびLMNNメトリック学習の組み合わせが、高い性能を実現する上で不可欠である。
• 拡散マップによる可視化により、LMNN処理済みのスキャattering特徴がクラス内クラスタリングを低減し、クラス分離性を向上させることを確認した。
• 本研究は、現在のMIRシステムにおけるギャップを特定した：IPT認識は音楽的スタイルやデジタル音楽ブラウジングにおいて重要であるが、その開発は不十分である。