[論文レビュー] Exploring modality-agnostic representations for music classification

Ho-Hsiang Wu, Magdalena Fuentes+1 more|arXiv (Cornell University)|Jun 2, 2021

Music and Audio Processing参考文献 31被引用数 4

ひとこと要約

本論文は、自己教師付きの事前学習タスクとしてのクロスマodalリtrievalを活用し、音声と画像の両方の埋め込みを統合的に学習する、モダリティに依存しない音楽分類フレームワークを提案する。事前学習された音声と画像の埋め込み間の翻訳モデルを訓練することで、単一の分類器がいずれのモダリティを使っても楽器分類を実行可能となり、ラベル付きデータが限られている状況下でゼロショット設定で最高の単一モダリティシステムの性能の約70％を達成する。

ABSTRACT

Music information is often conveyed or recorded across multiple data modalities including but not limited to audio, images, text and scores. However, music information retrieval research has almost exclusively focused on single modality recognition, requiring development of separate models for each modality. Some multi-modal works require multiple coexisting modalities given to the model as inputs, constraining the use of these models to the few cases where data from all modalities are available. To the best of our knowledge, no existing model has the ability to take inputs from varying modalities, e.g. images or sounds, and classify them into unified music categories. We explore the use of cross-modal retrieval as a pretext task to learn modality-agnostic representations, which can then be used as inputs to classifiers that are independent of modality. We select instrument classification as an example task for our study as both visual and audio components provide relevant semantic information. We train music instrument classifiers that can take both images or sounds as input, and perform comparably to sound-only or image-only classifiers. Furthermore, we explore the case when there is limited labeled data for a given modality, and the impact in performance by using labeled data from other modalities. We are able to achieve almost 70% of best performing system in a zero-shot setting. We provide a detailed analysis of experimental results to understand the potential and limitations of the approach, and discuss future steps towards modality-agnostic classifiers.

研究の動機と目的

• 推論時にすべてのモダリティを必要としない、複数のモダリティ（音声および画像）で動作する音楽分類システムの開発。
• 自己教師付きクロスマodal学習が、下流の分類に適したモダリティに依存しない表現を生成できるかどうかの調査。
• 特に1つのモダリティに限られたラベル付き例がある状況での、低データレジームにおける性能の評価。
• 統合埋め込み学習において、学習された翻訳モデルと単純な次元削減（例：PCA）の有効性の比較。
• トレーニング時に未見のモダリティであるターゲットモダリティに対して、モデルの一般化能力の分析。

提案手法

• AudioSetで訓練された畳み込みニューラルネットワークから得られる事前学習済み音声埋め込みと、ImageNetで微調整されたResNet-50モデルから得られる画像埋め込みを用いる。
• 対照的学習を用いて、音声と画像の埋め込みを共有の潜在空間にマップするクロスマodal翻訳モデルを自己教師付きで訓練する。
• 同一楽器のペア（ポジティブペア）を近づけ、異なる楽器のペア（ネガティブペア）を遠ざけるように、対照的損失を用いて統合埋め込み空間を最適化する。
• 次元削減と埋め込みのアライメントの代替手段として、主成分分析（PCA）を用いる。
• ラベル付きデータを1つのモダリティから得て、統合埋め込み上で下流の分類器を訓練し、モダリティに依存しない推論を可能にする。
• さまざまなデータ可用性設定下で、クロスマodalリtrievalおよび楽器分類の正確性を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 自己教師付きクロスマodalリtrieval学習が、効果的なモダリティに依存しない音楽分類を可能にする統合表現を生成できるか？
• RQ2 1つのモダリティからの限られたデータで学習した場合、モダリティに依存しない分類器の性能は、単一モダリティ分類器と比べてどの程度か？
• RQ3 ゼロショット設定において、明示的にトレーニングされていないモダリティに、モデルがどの程度一般化できるか？
• RQ4 統合表現学習において、モダリティ間の翻訳モデルを学習することが、単純な次元削減（例：PCA）を上回るか？
• RQ5 1つのモダリティからのラベル付きデータの可用性が、統合埋め込み上で学習された分類器の性能にどのように影響するか？

主な発見

• モダリティに依存しない分類器は、ゼロショット設定で最高の単一モダリティシステムの性能の約70％を達成し、モダリティ間での強力な一般化を示している。
• 音声と画像の埋め込み間の学習された翻訳モデルを用いることで、PCAベースのアライメントよりもクロスマodalリtrievalおよび分類タスクの両方で優れた性能を達成している。
• 1つのモダリティにラベル付きデータが限られている場合、他のモダリティからのラベル付きデータを統合埋め込み学習を通じて活用することで、性能を顕著に向上させることができる。
• 推論時に1つのモダリティしか利用できない状況でも、モデルは高い性能を維持しており、モダリティに依存しない性質を確認している。
• クロスマodalリtrieバル性能と下流の分類正確性の間に強く相関関係が見られ、統合埋め込み空間の有効性が裏付けられている。
• 本手法により、高リソースなモダリティ（例：画像）から低リソースなモダリティ（例：音声）への有効な転移学習が可能となり、特に低データレジームにおいて顕著である。