[論文レビュー] Passage Summarization with Recurrent Models for Audio-Sheet Music Retrieval

Luís Miguel Carvalho, Gerhard Widmer|arXiv (Cornell University)|Sep 21, 2023

Music and Audio ProcessingComputer Science被引用数 3

ひとこと要約

本論文では、長く可変長の音声および楽譜の断片に対する共同埋め込みを学習する再帰的クロスマodalニューラルネットワークを提案する。この手法により、細かく整合化された訓練データを必要とせず、音声-楽譜検索の堅牢性が向上する。再帰性によって時間的依存性をモデル化することで、固定サイズのスニペット手法よりも、グローバルなテンポ変化に強く、多様なテンポ条件および弱教師あり設定下でも優れた検索精度を達成する。

ABSTRACT

Many applications of cross-modal music retrieval are related to connecting sheet music images to audio recordings. A typical and recent approach to this is to learn, via deep neural networks, a joint embedding space that correlates short fixed-size snippets of audio and sheet music by means of an appropriate similarity structure. However, two challenges that arise out of this strategy are the requirement of strongly aligned data to train the networks, and the inherent discrepancies of musical content between audio and sheet music snippets caused by local and global tempo differences. In this paper, we address these two shortcomings by designing a cross-modal recurrent network that learns joint embeddings that can summarize longer passages of corresponding audio and sheet music. The benefits of our method are that it only requires weakly aligned audio-sheet music pairs, as well as that the recurrent network handles the non-linearities caused by tempo variations between audio and sheet music. We conduct a number of experiments on synthetic and real piano data and scores, showing that our proposed recurrent method leads to more accurate retrieval in all possible configurations.

研究の動機と目的

• 固定サイズの音声および楽譜スニペットモデルがクロスマodal音楽検索において抱える制限を解消すること。
• ノートレベルの整合化に依存するのを減らし、単に弱教師ありの断片境界のみを用いた学習を可能にすること。
• 系列モデルを用いて、音声と楽譜間のグローバルおよびローカルなテンポ変化に対して耐性を高めること。
• 短い固定長断片ではなく、より長い文脈を含む楽譜断片を用いて正確な検索を可能にすること。
• 合成および実際のピアノデータ上で本手法を検証し、テンポ変化にわたる一般化性能を示すこと。

提案手法

• 音声および楽譜断片を共有埋め込み空間にエンコードする二パスウェイの再帰的ニューラルネットワークを訓練する。
• 一致する音声-楽譜ペア間のコサイン距離を最小化し、一致しないペア間を最大化するため、対照的損失関数を用いる。
• 再帰ユニット（LSTM または GRU）が可変長シーケンスを処理し、時間的依存性を捉え、テンポ変化に耐性を持つ。
• 訓練データは、ノートレベルの整合化ではなく、システムレベルの断片（例：スタッフ線）から構築され、アノテーション負荷が低減される。
• このアーキテクチャにより、可変長の入力断片が可能となり、従来手法の固定サイズ制約を回避する。
• 本手法は、MSMDデータセット上で音声から楽譜（A2S）および楽譜から音声（S2A）の両方向の検索タスクで評価される。

Figure 1 : Distribution of system durations in around 40,000 examples from the MSMD. More than 25% of the passages are longer than ten seconds.

実験結果

リサーチクエスチョン

• RQ1 再帰的モデルは、より長い可変長の音声および楽譜断片から、堅牢なクロスマodal埋め込みを学習できるか？
• RQ2 本手法は、グローバルなテンポ変化下でも、固定サイズスニペット手法よりも一般化性能が優れているか？
• RQ3 弱教師ありデータ（例：システムレベルの境界）を用いて、効果的な音声-楽譜検索モデルを学習できる程度はどの程度か？
• RQ4 本手法は、ベースライン手法と比較して、異なるテンポ比においてどのように性能を発揮するか？
• RQ5 テンポの不一致が生じる状況下でも、再帰性の導入が埋め込み品質および検索精度を向上させるか？

主な発見

• 提案された再帰的モデルは、A2SおよびS2A両検索方向において、すべてのテンポ比でベースラインを上回る平均逆順位（MRR）を達成した。
• S2A方向では、元のテンポ（ρ=1）におけるMRRはRNNモデルで0.67、ベースラインで0.63であり、0.04の向上を示した。
• A2S方向では、ρ=1におけるMRRはRNNモデルで0.63、ベースラインで0.59であり、0.04の向上を示した。
• A2Sではρ=1とρ=0.5（遅いテンポ）の間の性能差が、ベースラインの0.12からRNNの0.10に減少し、S2Aでは0.09から0.07に減少した。これは、テンポ変化に対する耐性が向上していることを示している。
• 極端なテンポ（ρ=2）でも、MRR値がA2Sで0.43、S2Aで0.50と、すべての状況でベースラインを上回った。
• コサイン距離の分析から、短い音声断片の埋め込みは、それに対応する楽譜の埋め込みよりも一般的に近いことが示された。これは、長時間の断片に対して一般化ギャップが依然として存在することを示唆している。

Figure 2 : Diagram of the proposed network. Two independent pathways are trained to encode sheet music (a) and audio (b) passages by minimizing a contrastive loss function (c).