[論文レビュー] Polyphonic Piano Transcription Using Autoregressive Multi-State Note Model

Taegyun Kwon, Dasaem Jeong+1 more|arXiv (Cornell University)|Oct 2, 2020

Music and Audio Processing参考文献 28被引用数 8

ひとこと要約

本論文は、音符の発音、持続、再発音、終了、非発音の5つの状態を1つのソフトマックス出力で予測する統合的自己回帰的マルチステート音符モデルを提案する。時間的依存関係は自己回帰的RNNによって学習される。このモデルは、先行手法よりもパラメータ数が少ないにもかかわらず、MAESTROデータセットで最先端の性能を達成した。

ABSTRACT

Recent advances in polyphonic piano transcription have been made primarily by a deliberate design of neural network architectures that detect different note states such as onset or sustain and model the temporal evolution of the states. The majority of them, however, use separate neural networks for each note state, thereby optimizing multiple loss functions, and also they handle the temporal evolution of note states by abstract connections between the state-wise neural networks or using a post-processing module. In this paper, we propose a unified neural network architecture where multiple note states are predicted as a softmax output with a single loss function and the temporal order is learned by an auto-regressive connection within the single neural network. This compact model allows to increase note states without architectural complexity. Using the MAESTRO dataset, we examine various combinations of multiple note states including on, onset, sustain, re-onset, offset, and off. We also show that the autoregressive module effectively learns inter-state dependency of notes. Finally, we show that our proposed model achieves performance comparable to state-of-the-arts with fewer parameters.

研究の動機と目的

• 各状態に別々のネットワークを用いる従来のマルチステート音符モデリング手法におけるアーキテクチャの複雑さと損失関数の増加を解決すること。
• 音符状態予測と時間的依存関係モデリングを1つのニューラルネットワークに統合し、モデルの複雑さを低減すること。
• 発音、持続、再発音、終了、非発音といったさまざまなマルチステート表現が音楽譜変換性能に与える影響を調査すること。
• 自己回帰的接続が、より正確な音符状態遷移を捉えるために状態間の依存関係をどのようにモデル化できるかを評価すること。
• コンactで統合されたアーキテクチャが、パラメータ数を減らしながらも最先端の性能を達成できることを示すこと。

提案手法

• 音声入力からフレームレベルの音響特徴を抽出するためにCNNを用いる。
• 1つのRNNがこれらの特徴を処理し、統合された状態空間におけるソフトマックス出力として複数の音符状態を予測する。
• 時間的順序は、現在の状態予測を過去の出力に条件づける自己回帰的接続によってモデル化される。
• マルチステートラベル上で単一のクロスエントロピー損失関数を用いて、エンドツーエンドで学習される。
• 推論では、フレームレベルの状態予測からピアノロール出力を生成するため、グリーディまたはビームサーチによるデコードが用いられる。
• 標準的な指標（発音F1、オフセット付き音符F1、フレームレベルF1）を用いて、MAESTROデータセットでモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 統合的マルチステート音符予測フレームワークは、個別状態ネットワークと比較して、性能とパラメータ効率の点でどのように異なるか？
• RQ2 再発音や終了といった追加の音符状態を含めることで、音楽譜変換の正確性にどのような影響があるか？
• RQ3 自己回帰的接続は、非自己回帰的ベースラインと比較して、状態間の依存関係をどの程度効果的にモデル化できるか？
• RQ4 1つのコンactで統合されたネットワークが、複数状態のソフトマックス出力を持つことで、最先端のモデルと同等の性能を達成できるか？
• RQ5 なぜビームサーチはこの設定でグリーディデコードよりも性能が低く、これはモデルのキャリブレーションにどのような示唆を与えるか？

主な発見

• グリーディデコードを用いた場合、本モデルは発音F1スコア0.9467を達成し、最先端のOnsets and Framesモデルと同等の性能を示した。
• 発音および終了付き音符の両方の状態を含めることで、発音F1およびオフセット付き音符F1スコアが著しく向上し、「Five」モデル（発音、持続、再発音、終了、非発音）が最高の性能を示した。
• 自己回帰モジュールは、非自己回帰的対照実験と比較して、発音および終了F1スコアを向上させ、状態間の依存関係の有効な学習を示した。
• 信頼度キャリブレーション図から、本モデルは持続予測に対して過信であり、非発音フレーム予測に対しては低信頼であることが判明し、これがビームサーチの性能劣化を説明できる可能性がある。
• 単方向RNNを用いながらもパラメータ数を減らしたにもかかわらず、最先端のモデルと同等の性能を達成しており、高いパラメータ効率を示している。
• 可視化結果から、自己回帰モデルは非自己回帰モデルが示す短くぼやけた発音を避けて、より現実的で滑らかな音符状態遷移を生成していることがわかった。