[論文レビュー] Deep Cross-Modal Correlation Learning for Audio and Lyrics in Music Retrieval

Yi Yu, Suhua Tang+2 more|arXiv (Cornell University)|Nov 24, 2017

Music and Audio Processing参考文献 29被引用数 15

ひとこと要約

本論文は、時間的構造を捉えるために、2本のブランチ型ニューラルネットワークと相互モードの正規化相関分析（DCCA）を用いて音声と歌詞を統合的にモデル化する深層クロスモーダル相関学習フレームワークを提案する。この手法は、音声から歌詞を検索する・逆に歌詞から音声を検索するという双方向音楽検索において、最先端の性能を達成しており、畳み込み層と全結合層のエンドツーエンド学習がベースラインと比較して検索精度を顕著に向上させることを示している。

ABSTRACT

Little research focuses on cross-modal correlation learning where temporal structures of different data modalities such as audio and lyrics are taken into account. Stemming from the characteristic of temporal structures of music in nature, we are motivated to learn the deep sequential correlation between audio and lyrics. In this work, we propose a deep cross-modal correlation learning architecture involving two-branch deep neural networks for audio modality and text modality (lyrics). Different modality data are converted to the same canonical space where inter modal canonical correlation analysis is utilized as an objective function to calculate the similarity of temporal structures. This is the first study on understanding the correlation between language and music audio through deep architectures for learning the paired temporal correlation of audio and lyrics. Pre-trained Doc2vec model followed by fully-connected layers (fully-connected deep neural network) is used to represent lyrics. Two significant contributions are made in the audio branch, as follows: i) pre-trained CNN followed by fully-connected layers is investigated for representing music audio. ii) We further suggest an end-to-end architecture that simultaneously trains convolutional layers and fully-connected layers to better learn temporal structures of music audio. Particularly, our end-to-end deep architecture contains two properties: simultaneously implementing feature learning and cross-modal correlation learning, and learning joint representation by considering temporal structures. Experimental results, using audio to retrieve lyrics or using lyrics to retrieve audio, verify the effectiveness of the proposed deep correlation learning architectures in cross-modal music retrieval.

研究の動機と目的

• 音楽における音声と歌詞の間のクロスモーダル相関学習のギャップを埋めるために、両者の時間的構造をモデル化すること。
• 統一されたフレームワーク内で特徴表現とクロスモーダル相関を同時に学習する深層ニューラルアーキテクチャを開発すること。
• 音声と歌詞の共同表現を用いて、音声から歌詞を検索する・逆に歌詞から音声を検索するという双方向音楽検索を可能にすること。
• 事前学習モデル（歌詞にはDoc2vec、音声には事前学習済みCNN）とエンドツーエンド学習の有効性を検証し、検索性能の向上に寄与するかを調査すること。
• トレーニングデータ量とCCA成分の数が検索性能に与える影響を評価すること。

提案手法

• 音声（事前学習済みCNN＋全結合層、またはエンドツーエンドCNN/DNN）を処理するブランチと、歌詞（事前学習済みDoc2vecに続く全結合層）を処理するブランチからなる2本のブランチ型深層ニューラルネットワークを採用する。
• 両モダリティを共有された標準化空間に射影し、相互モダリティの正規化相関分析（DCCA）を目的関数として用いて、音声と歌詞の表現間の相関を最大化する。
• 特徴学習とクロスモーダル相関学習を同時に最適化するエンドツーエンドの深層相関アーキテクチャを導入し、両モダリティにおける時間的構造を保持する。
• DCCAを用いて、2本のブランチの出力間の相関を最大化するとともに、時間的構造の整合性を強制することで、共同表現を学習する。
• 次元数の影響を調査するために、多成分CCA/MVE戦略を適用する。
• 2段階のトレーニング戦略を採用：まずモダリティ固有の特徴で事前学習を行い、その後DCCA目的関数を用いた共同学習を行う。

実験結果

リサーチクエスチョン

• RQ1 深層クロスモーダル相関学習は、音楽検索における音声と歌詞の時間的相関を効果的にモデル化できるか？
• RQ2 畳み込み層と全結合層のエンドツーエンド学習は、音声表現学習において事前学習特徴抽出と比較してどのように異なるか？
• RQ3 CCA成分の数が音声・歌詞検索の性能に与える影響は何か？
• RQ4 トレーニングデータ量の増加が、提案された深層相関学習モデルの性能に与える影響は何か？
• RQ5 提案されたアーキテクチャは、既存の手法と比較して、双方向検索（音声→歌詞および歌詞→音声）において優れた性能を達成できるか？

主な発見

• エンドツーエンドの深層相関アーキテクチャ（JointTrain-DCCA）は、歌詞をクエリとして使用した際、100成分で最高のMRR1（0.375）を達成し、他のすべての設定を上回った。
• 音声をクエリとして使用した際、JointTrain-DCCAモデルはインスタンスレベルでMRR1が0.374を記録し、Spotify-CCA（0.354）とPretrainCNN-CCA（0.370）を顕著に上回った。
• DCCAを用いた場合、トレーニングデータ量の増加に伴い性能が線形に向上する傾向を示しており、CCAやMVEベースラインと比較して一般化能力と学習能力に優れていることが示された。
• 歌詞にDoc2vec、音声に事前学習済みCNNを用いることで強力なベースラインが得られるが、エンドツーエンド学習により特徴学習と相関学習を同時に最適化することで、性能がさらに向上した。
• CCA成分の数には非自明な影響がある：性能は約100成分でピークに達し、JointTrain-DCCAは全成分数において一貫して他のモデルを上回った。
• カテゴリレベルの検索結果から、提案手法の頑健性が確認され、歌詞をクエリとして使用した際、100成分でMRR1が0.375を記録した。