[論文レビュー] HPPNet: Modeling the Harmonic Structure and Pitch Invariance in Piano Transcription

Weixing Wei, Peilin Li+2 more|arXiv (Cornell University)|Aug 30, 2022

Music and Audio Processing被引用数 4

ひとこと要約

HPPNetは、周波数帯域ごとの独立した処理を可能にする周波数グループ化LSTM（FG-LSTM）と、周波数対数スケール上の調波間隔に一致する拡張率を有する調波拡張畳み込み（HD-Conv）を用いて、調波構造と周波数不変性の事前知識を統合することで、MAESTROで93.15%のフレームF1、97.18%のノートF1という最先端性能を達成した軽量なピアノ音符変換モデルを提案する。パラメータ数はたったの120万で、従来の最先端モデルと比べて顕著に少ない。

ABSTRACT

While neural network models are making significant progress in piano transcription, they are becoming more resource-consuming due to requiring larger model size and more computing power. In this paper, we attempt to apply more prior about piano to reduce model size and improve the transcription performance. The sound of a piano note contains various overtones, and the pitch of a key does not change over time. To make full use of such latent information, we propose HPPNet that using the Harmonic Dilated Convolution to capture the harmonic structures and the Frequency Grouped Recurrent Neural Network to model the pitch-invariance over time. Experimental results on the MAESTRO dataset show that our piano transcription system achieves state-of-the-art performance both in frame and note scores (frame F1 93.15%, note F1 97.18%). Moreover, the model size is much smaller than the previous state-of-the-art deep learning models.

研究の動機と目的

• ピアノの音響的特徴から得られるドメイン固有の事前知識を組み込むことで、ピアノ音符変換におけるモデルの複雑さを低減すること。
• 時間的経過に伴う調波構造と周波数不変性をモデル化することで、性能と効率を向上させること。
• 従来のディープラーニング手法と比較して、パラメータ数を著しく削減しながらも高い精度を維持できるコンパクトなモデルを開発すること。

提案手法

• 調波解析に適した対数周波数間隔を保持するため、入力に定常Q変換（CQT）を用いる。
• 対数周波数スケール上での調波間隔に一致する拡張率を持つ調波拡張畳み込み（HD-Conv）を採用し、調波系列を捉える。
• 各周波数帯域を独立して処理することで、時間的経過に伴う周波数不変性をモデル化する周波数グループ化LSTM（FG-LSTM）を適用する。
• FG-LSTMの周波数グループ間で重みを共有することで、パラメータ数を削減しつつも、時間的モデリング能力を維持する。
• HD-ConvとFG-LSTMをエンドツーエンドのニューラルネットワークアーキテクチャに統合し、フレームとノートの同時予測を実現する。
• 1オクターブあたり24ビンのCQTを用いることで、基本周波数にかかわらず一貫した調波間隔を確保する。

実験結果

リサーチクエスチョン

• RQ1 調波間隔に一致する拡張畳み込みを用いて調波構造をモデル化することで、ピアノ音符変換の性能が向上するか？
• RQ2 周波数グループ化RNNを用いて時間的経過に伴う周波数不変性を強制することで、モデルの精度と効率が向上するか？
• RQ3 顕著に少ないパラメータ数を持つモデルが、より大きな最先端モデルを上回る性能を発揮できるか？
• RQ4 提案アーキテクチャは、小規模な学習データセットやクロスデータセット評価においてどのように一般化するか？
• RQ5 HD-ConvとFG-LSTMが、モデルの性能向上にそれぞれどの程度寄与しているか？

主な発見

• HPPNetはMAESTRO v3の検証セットで93.15%のフレームF1、97.18%のノートF1を達成し、新たな最先端性能を樹立した。
• モデルのパラメータ数はたったの120万で、変換器ベースの最先端モデル（5400万パラメータ）と比べて顕著に少ない。
• MAPSデータセットではHPPNet-spが87.56%のノートF1を達成し、Onsets & Frames（83.04%）および拡張版（86.44%）を上回った。
• アブレーションスタディの結果、FG-LSTMを削除するか、HD-Convを固定拡張畳み込みに置き換えると、フレームF1が約3ポイント、ノートF1が約1ポイント低下した。
• 10%のMAESTRO学習データのみを用いても、フレームF1が88.31%、ノートF1が93.52%の高い性能を維持した。
• 特にRNN層を削除または線形層に置き換えた場合に、ベースラインと比較してより速くかつ安定して収束した。