[論文レビュー] Learning Soft-Attention Models for Tempo-invariant Audio-Sheet Music Retrieval

Stefan Balke, Matthias Dorfer+3 more|arXiv (Cornell University)|Jun 26, 2019

Music and Audio Processing参考文献 27被引用数 4

ひとこと要約

本論文は、エンドツーエンド音声・楽譜検索における音声スペクトログラムにソフトアテンション機構を提案し、テンポや音符密度に応じて動的に時間的文脈を調整できるようにする。アテンション機構により、さまざまなテンポにおいても検索のロバスト性が向上し、合成ピアノデータにおいて最先端の性能を達成する。関連する音声領域に注目することで解釈可能性を維持する。

ABSTRACT

Connecting large libraries of digitized audio recordings to their corresponding sheet music images has long been a motivation for researchers to develop new cross-modal retrieval systems. In recent years, retrieval systems based on embedding space learning with deep neural networks got a step closer to fulfilling this vision. However, global and local tempo deviations in the music recordings still require careful tuning of the amount of temporal context given to the system. In this paper, we address this problem by introducing an additional soft-attention mechanism on the audio input. Quantitative and qualitative results on synthesized piano data indicate that this attention increases the robustness of the retrieval system by focusing on different parts of the input representation based on the tempo of the audio. Encouraged by these results, we argue for the potential of attention models as a very general tool for many MIR tasks.

研究の動機と目的

• クロスモーダル検索における音声埋め込みの固定された時間的文脈の課題に対処すること。これはテンポの変化によって性能が低下する原因となる。
• テンポと音符密度に応じて関連する音声セグメントに適応的に注目できるようにすることで、音声・楽譜マッチングにおける検索のロバスト性を向上させること。
• ソフトアテンション機構が、音楽情報検索（MIR）におけるテンポに依存しない検索の一般用途ソリューションとして機能できることを示すこと。
• 合成ピアノデータを用いた定性的および定量的分析を通じて、アテンション機構の直感的で解釈可能な挙動を検証すること。

提案手法

• 音声スペクトログラムと楽譜画像の両方を別々のパスウェイで処理する二重ブランチ型畳み込みニューラルネットワーク（CNN）アーキテクチャを採用し、両者を共通の32次元埋め込み空間に射影する。
• 音声スペクトログラム入力にソフトアテンション機構を適用し、コンテンツの関連性に基づいて時間フレームごとに可変重みを割り当てる。
• アテンション機構は、一致する音声と楽譜ペアの埋め込み類似度を最適化するために、対照的損失関数とともにエンドツーエンドで学習される。
• アテンション重みは、生の音声スペクトログラムを処理する学習可能なアテンションネットワークによって計算され、時間フレーム上にソフトで微分可能な分布を出力する。
• 音声と楽譜の埋め込みを共通空間で一致させるために、線形判別分析（CCA）を用いる。これは意味的対応関係を強制する。
• 本システムは、テンポの変動を制御した合成ピアノデータセット上で評価され、最近傍検索にはコサイン距離が使用される。

実験結果

リサーチクエスチョン

• RQ1 ソフトアテンション機構は、再生テンポが変化する状況下でも音声・楽譜マッチングの検索性能を向上させることができるか？
• RQ2 アテンション機構は、音声スペクトログラムの音符密度とテンポに応じて、どのように注目領域を適応的に変化させるか？
• RQ3 アテンション機構は、音楽的コンテンツと相関する直感的で解釈可能なアテンション分布を生成するか？
• RQ4 アテンション機構は、クロスモーダル検索における固定サイズの音声入力ウィンドウへの感受性をどの程度低減するか？

主な発見

• 提案されたソフトアテンション機構は、アテンションなしのベースラインモデルに比べて、特にテンポの変化下でも検索性能が顕著に向上する。
• アテンション機構はその注目を適応的に変化させる：音符密度が高いと集中度が高まり（エントロピーが低い）、密度が低いと広がりが生じる（エントロピーが高い）ことが、エントロピー対発音数の分析で確認された。
• 定性的な例では、アテンションネットワークが、極端なテンポ変更下でも、メロディアスなパassage やリズミカルなクラスタを正しく同定している。
• モデルは78〜250 bpmの広いテンポ範囲で高い検索精度を維持しており、強力なテンポ不変性を示している。
• 長時間の持続コードを含む楽曲に対しても、アテンション機構は全音声ウィンドウにわたり注目を分散させることで、完全なコンテンツマッチングを実現している。
• 結果から、アテンション機構は音声・楽譜検索にとどまらず、クロスモーダルMIRタスクにおけるロバスト性向上の一般用途ツールとして機能可能であると示唆される。