[論文レビュー] A Holistic Approach to Polyphonic Music Transcription with Neural Networks

Miguel A. Román, Antonio Pertusa+1 more|arXiv (Cornell University)|Oct 26, 2019

Music and Audio Processing参考文献 17被引用数 15

ひとこと要約

本論文は、中間のピアノロール表現を回避するため、CTC損失を用いたCRNNを用いたエンド・ツー・エンドのニューラルネットワークフレームワークを提案し、直接音声から楽譜に変換する手法を提示している。合成された弦楽四重奏曲およびバッハのコーラーレを用いて訓練されたモデルは、四重奏曲においてWER 21.02%、CER 13.53%を達成し、フレームレベルのアライメントや誤差伝搬を回避する直接的な表記レベルの変換の可能性を示している。

ABSTRACT

We present a framework based on neural networks to extract music scores directly from polyphonic audio in an end-to-end fashion. Most previous Automatic Music Transcription (AMT) methods seek a piano-roll representation of the pitches, that can be further transformed into a score by incorporating tempo estimation, beat tracking, key estimation or rhythm quantization. Unlike these methods, our approach generates music notation directly from the input audio in a single stage. For this, we use a Convolutional Recurrent Neural Network (CRNN) with Connectionist Temporal Classification (CTC) loss function which does not require annotated alignments of audio frames with the score rhythmic information. We trained our model using as input Haydn, Mozart, and Beethoven string quartets and Bach chorales synthesized with different tempos and expressive performances. The output is a textual representation of four-voice music scores based on **kern format. Although the proposed approach is evaluated in a simplified scenario, results show that this model can learn to transcribe scores directly from audio signals, opening a promising avenue towards complete AMT.

研究の動機と目的

• ポリフォン音声から直接記号的楽譜を生成する包括的でエンド・ツー・エンドの自動音楽変換（AMT）アプローチの開発。
• 従来のAMTパイプラインで一般的な複数段階処理（例：ピッチ検出、ノートトラッキング、量子化）を回避することで誤差伝搬を排除すること。
• ニューラルネットワークがフレームレベルのアライメントを必要とせず、直接的に有効な**kern形式の楽譜を音声から学習して生成できることを示すこと。
• 実音声およびより複雑な音楽的構造を用いた表記レベルのAMTにおける今後の研究の基盤を構築すること。

提案手法

• 原始音声スペクトログラムを処理し、記号的楽譜トークンの系列を生成するため、畳み込み再帰ニューラルネットワーク（CRNN）を用いる。
• 教師データにおける正確なフレーム対記号アライメントを必要としないため、接続主義的時系列分類（CTC）損失を採用して学習を行う。
• 入力音声は、ハインデン、モーツァルト、ベートーヴェンの弦楽四重奏曲およびバッハのコーラーレを、さまざまなテンポと表現的ダイナミクスで合成した演奏から構成される。
• 出力は**kern形式のテキスト表現であり、MusicXMLや楽譜に変換可能である。
• 訓練にはミニバッチSGDを用い、Nesterovのモーメンタムとコサインスケーリング学習率スケジューリングを100エポックにわたり適用する。
• 最良のモデルは、検証用WERが最小となるモデルとして選別され、評価には語彙誤り率（WER）と文字誤り率（CER）が用いられる。

実験結果

リサーチクエスチョン

• RQ1 中間のピアノロール表現を避けて、ポリフォン音声から直接有効な記号的楽譜を生成できる単一段階のニューラルネットワークは存在するか？
• RQ2 CTC損失を用いたCRNNは、正しいピッチ、持続時間、ボイス分離を伴う複雑なポリフォン音楽をどの程度正しく変換できるか？
• RQ3 ノートの持続時間、小節線、ボイスクロスの誤りが、エンド・ツー・エンドのフレームワークにおける変換品質にどの程度影響を及えるか？
• RQ4 限られたトレーニングデータと文法的制約があるにもかかわらず、モデルは異なる音楽的スタイル（例：四重奏曲対コーラーレ）に一般化できるか？

主な発見

• 四重奏曲のテストセットにおいて、モデルは語彙誤り率（WER）21.02%、文字誤り率（CER）13.53%を達成し、複雑なポリフォン音楽において優れた性能を示している。
• コーラーレデータセットでは、WER 30.96%、CER 18.10%を達成しており、和声的・リズミックな複雑さの増加に伴い誤り率が高まっていることが示された。
• 一般的な誤りには、誤ったノート持続時間、ずれた小節線、特にピッチが近い場合やボイスがクロスする場合のボイスクロスが含まれる。
• テンポやトリプレットなどのレアな記号は、トレーニングデータでの出現頻度が低く、**kern形式表現の制限のため、モデルが困難に感じられた。
• **kern出力におけるフォーマットエラーが観察されたことから、構文的制約やより多様なトレーニングデータを用いることで信頼性が向上する可能性がある。
• 限界はあったが、誤差の段階的伝搬を回避する単一のニューラルネットワークを用いたエンド・ツー・エンドの音声→楽譜変換の可能性が実証された。