[論文レビュー] Score-informed Networks for Music Performance Assessment

Jiawen Huang, Yun-Ning Hung+3 more|arXiv (Cornell University)|Aug 1, 2020

Music and Audio Processing参考文献 27被引用数 5

ひとこと要約

本論文は、音楽スコア情報を音声パフォーマンス特徴と統合する3つのディーブラーニングモデルを提案し、客観的な音楽パフォーマンス評価（MPA）を実現する。同期されたピッチコントゥアとスコアを入力とすることで、畳み込みネットワーク、共同埋め込み、距離行列ベースのCNNといったモデルは、スコアに依存するアプローチがスコアに依存しないベースラインよりも顕著に優れていることを示しており、特に共同埋め込みモデルが、中学生および高校生のオーディションデータセットにおいて最高の平均性能を達成した。

ABSTRACT

The assessment of music performances in most cases takes into account the underlying musical score being performed. While there have been several automatic approaches for objective music performance assessment (MPA) based on extracted features from both the performance audio and the score, deep neural network-based methods incorporating score information into MPA models have not yet been investigated. In this paper, we introduce three different models capable of score-informed performance assessment. These are (i) a convolutional neural network that utilizes a simple time-series input comprising of aligned pitch contours and score, (ii) a joint embedding model which learns a joint latent space for pitch contours and scores, and (iii) a distance matrix-based convolutional neural network which utilizes patterns in the distance matrix between pitch contours and musical score to predict assessment ratings. Our results provide insights into the suitability of different architectures and input representations and demonstrate the benefits of score-informed models as compared to score-independent models.

研究の動機と目的

• 音楽スコアを音楽パフォーマンス評価（MPA）に統合する深層学習モデルの不足に対処すること。
• スコアに依存するニューラルネットワークが、スコアに依存しないモデルと比較してMPA性能を向上させるかどうかを調査すること。
• MPAにおける音声とスコア情報の統合に適した、異なるアーキテクチャと入力表現を評価すること。
• チャンクサイズと距離行列解像度がモデル性能に与える影響を分析すること。
• 音楽教育およびパフォーマンス分析分野における、客観的でスケーラブルなMPAツールの基盤を提供すること。

提案手法

• 時間的系列表現として同期されたピッチコントゥアと音楽スコアを連結したものを処理する畳み込みニューラルネットワーク（SIConvNet）。
• ピッチコントゥアとスコアの両方の共有潜在表現を学習する共同埋め込みモデルで、評価スコアは埋め込み間のコサイン類似度によって予測される。
• 距離行列ベースのCNN（DistMatNet）は、ピッチコントゥアとスコアの微分表現を入力とし、フレーム単位のずれを捉える。
• 音声とスコアの同期には動的時系列適合（DTW）が用いられ、特徴抽出の前にピッチコントゥアとスコアを同期化する。
• 教師が割り当てたスコアを含む、中学生および高校生のオーディションデータセットを大規模に用いてモデルを訓練した。
• チャンクサイズ（最適は10秒）や行列解像度（最適は600×600）といったハイパーパrameterは、アブレーションスタディを通じて評価された。

実験結果

リサーチクエスチョン

• RQ1 スコア情報を統合する深層ニューラルネットワークが、スコアに依存しないモデルよりも音楽パフォーマンス評価で優れた性能を発揮できるか。
• RQ2 連結入力、共同埋め込み、距離行列のうち、どのアーキテクチャがMPAで最高のパフォーマンスを達成するか。
• RQ3 入力チャンクサイズがスコアに依存するMPAモデルの性能に与える影響は何か。
• RQ4 DistMatNetモデルの距離行列入力において最適な解像度は何か。
• RQ5 異なる入力表現は、音楽性やリズム的正確性といったさまざまなパフォーマンス基準の予測能力にどのように影響を与えるか。

主な発見

• すべてのスコアに依存するモデルが、スコアに依存しないベースラインモデルよりも顕著に優れたパフォーマンスを示した。
• 共同埋め込みモデルが、中学校およびシンフォニックバンドの両データセットにおいて最高の平均パフォーマンスを達成した。
• 10秒のチャンクサイズが5秒のチャンクサイズを上回り、より長い音声セグメントが全体のパフォーマンス品質をよりよく反映していることを示した。
• 距離行列ベースのモデルにおいて600×600の入力マトリクス解像度が最良のパフォーマンスを示し、詳細性とモデル容量のバランスが取れていた。
• リズム的正確性のパフォーマンスは、より高いマトリクス解像度で低下した。これは、複雑さの増加が学習を妨える可能性を示唆している。
• 距離行列表現はパフォーマンスのずれを効果的に捉えているが、対角線から遠く離れた部分に冗長な情報が含まれており、学習を複雑にしている。