[論文レビュー] Neural Loop Combiner: Neural Network Models for Assessing the Compatibility of Loops

Boyu Chen, Jordan B. L. Smith+1 more|arXiv (Cornell University)|Aug 5, 2020

Music and Audio Processing被引用数 5

ひとこと要約

本論文では、既存の音楽からポジティブ例を抽出し、さまざまなネガティブサンプリング戦略を適用する、新規のデータ生成パイプラインを用いて、音楽ループの相互適合性を予測するニューラルネットワークベースの手法を提案する。研究では、CNNとシameseニューラルネットワークのアーキテクチャを比較し、主観的評価においてCNNがシameseモデルおよびルールベースのAutoMashUpperシステムを上回ることを確認した。特に、CNNの推薦結果は、データセットに含まれるオリジナルのループペアでさえも、適合性と使用可能性の面で上回られている。

ABSTRACT

Music producers who use loops may have access to thousands in loop libraries, but finding ones that are compatible is a time-consuming process; we hope to reduce this burden with automation. State-of-the-art systems for estimating compatibility, such as AutoMashUpper, are mostly rule-based and could be improved on with machine learn-ing. To train a model, we need a large set of loops with ground truth compatibility values. No such dataset exists, so we extract loops from existing music to obtain positive examples of compatible loops, and propose and compare various strategies for choosing negative examples. For re-producibility, we curate data from the Free Music Archive.Using this data, we investigate two types of model architectures for estimating the compatibility of loops: one based on a Siamese network, and the other a pure convolutional neural network (CNN). We conducted a user study in which participants rated the quality of the combinations suggested by each model, and found the CNN to outperform the Siamese network. Both model-based approaches outperformed the rule-based one. We have opened source the code for building the models and the dataset.

研究の動機と目的

• 音楽制作におけるループ適合性推定のためのラベル付きデータセットの不足に対処すること。
• 2つのループが同じ構成で使用可能かどうかを、人間の知覚に即して自動的に予測する機械学習フレームワークの開発。
• CNNとシameseネットワークといったディープラーニングモデルの性能を、AutoMashUpperのようなルールベースのシステムと比較して、ループ適合性を予測する能力を評価すること。
• 真のラベルが入手できない状況下で、適合性モデルの学習に効果的なネガティブサンプリング戦略を調査すること。
• 客観的指標と主観的ユーザー研究（適合性の質、使用可能性、革新性）を用いて、モデルの性能を評価すること。

提案手法

• ポジティブなループペアは、非負値テンソル分解（NTF）に基づくループ抽出アルゴリズムを用いて、既存の音楽から抽出するデータ生成パイプラインが使用される。
• バランスの取れたトレーニングデータを生成するために、リバースサンプリングやランダムサンプリングを含む複数の戦略を用いてネガティブなループペアを抽出する。
• 1次元畳み込みニューラルネットワーク（CNN）は、ループペアの時間周波数表現から直接適合性を分類するように学習される。
• シameseニューラルネットワーク（SNN）は、各ループを共有重みで別々に処理し、埋め込みの類似度に基づいて適合性を計算する。
• モデルは、再現可能性とオープンアクセスを確保するため、Free Music Archive（FMA）から選別されたデータセット上でトレーニングおよび評価される。
• 主観的評価は、116名の参加者が適合性、使用可能性、革新性についてループの組み合わせを評価するユーザー研究を通じて実施される。

実験結果

リサーチクエスチョン

• RQ1 真のラベルが存在しない合成データセット（ポジティブおよびネガティブペア）を用いてトレーニングされたディープラーニングモデルは、音楽ループの知覚的適合性を効果的に予測できるか？
• RQ2 特にCNNとシameseネットワークといった異なるニューラルネットワークアーキテクチャは、ループ適合性予測においてどのように比較されるか？
• RQ3 ネガティブサンプリング戦略の選択が、適合性予測モデルの性能に顕著な影響を与えるか？
• RQ4 モデルベースの推薦は、実際の音楽から抽出された既存のループペアと比較して、知覚的品質および使用可能性の面で優れているか？
• RQ5 ループ適合性予測において、客観的指標と主観的ユーザー認識の間に乖離が生じているか？

主な発見

• CNNモデルは主観的ユーザー評価において、シameseニューラルネットワークを著しく上回り、適合性の平均意見スコア（MOS）が4.0に達した。これは、FMAから抽出されたオリジナルのループペア（MOS = 3.15）を上回るものであった。
• リバースネガティブサンプリングを用いたCNNは、最も高い知覚的適合性と使用可能性を達成し、実際の音楽から抽出されたオリジナルのループペアでさえも上回った。
• AutoMashUpperは、すべての主観的指標で最悪の成績を示し、ルールベースの類似度とスペクトルバランスだけでは、知覚的適合性を予測するには不十分であることが示された。
• より優れた客観的順位付け性能を示したにもかかわらず、シameseネットワークはCNNほど知覚的に適合する組み合わせを生成できず、客観的評価と主観的評価の間に乖離があることが明らかになった。
• モデルとオリジナルペアの間で革新性スコアに有意な差が認められなかったため、CNNの出力が適合性が高くなったのは、新奇性そのものによるものではないと考えられる。
• 結果から、CNNの優れた性能は、人間のプロデューサーが手動で評価できる範囲をはるかに超えて、より広いループペアの空間を探査できる能力に起因している可能性が示唆された。