[論文レビュー] Generating Music Medleys via Playing Music Puzzle Games

Yu-Siang Huang, Szu-Yu Chou+1 more|arXiv (Cornell University)|Sep 13, 2017

Music and Audio Processing参考文献 29被引用数 4

ひとこと要約

この論文では、音声断片を正しい時間的順序に並べ替える音楽パズルゲームを解くことで、ニューラルネットワークに音楽メドレーを生成させる自己教師あり学習手法、類似埋め込みネットワーク（SEN）を提案する。フレームレベルの類似度行列を共有空間に埋め込むことで、SENは音楽ジャイガス、順序付け、メドレーのタスクにおいてベースラインを上回り、ダウンビートを考慮した分割を用いた場合、メドレー・ゲームでそれぞれ0.790および0.750のグローバル正解率を達成した。

ABSTRACT

Generating music medleys is about finding an optimal permutation of a given set of music clips. Toward this goal, we propose a self-supervised learning task, called the music puzzle game, to train neural network models to learn the sequential patterns in music. In essence, such a game requires machines to correctly sort a few multisecond music fragments. In the training stage, we learn the model by sampling multiple non-overlapping fragment pairs from the same songs and seeking to predict whether a given pair is consecutive and is in the correct chronological order. For testing, we design a number of puzzle games with different difficulty levels, the most difficult one being music medley, which requiring sorting fragments from different songs. On the basis of state-of-the-art Siamese convolutional network, we propose an improved architecture that learns to embed frame-level similarity scores computed from the input fragment pairs to a common space, where fragment pairs in the correct order can be more easily identified. Our result shows that the resulting model, dubbed as the similarity embedding network (SEN), performs better than competing models across different games, including music jigsaw puzzle, music sequencing, and music medley. Example results can be found at our project website, https://remyhuang.github.io/DJnet.

研究の動機と目的

• 音声断片の順序付けを教師信号として用いる自己教師あり手法を開発し、音声における順序パターンを学習すること。
• 同じまたは異なる楽曲からの複数秒にわたる重複のない音声断片を正しい順序に並べ替える課題に対処すること。
• 順序付けされた音声理解の実用的応用として、自動音楽メドレー生成を可能にすること。
• 共有埋め込み空間でフレームレベルの類似度行列から学習することで、従来のシアンプソンネットワークを改善すること。

提案手法

• モデルは、音声断片のペアを処理し、それらの間のフレームレベル類似度スコアを計算するためのシアンプソン畳み込みネットワークを用いる。
• これらのスコアから類似度行列が構築され、断片ペア間の時間的整合性と構造的整合性を表す。
• ネットワークは、正しい順序（ポジティブ）ペアと誤った順序（ネガティブ）ペアをより明確に分離できるように、類似度行列を共通空間に埋め込む学習を行う。
• 対比較評価戦略を採用し、全n!通りの順列ではなくn(n−1)個の断片ペアを評価することで、より大きな断片集合へのスケーラビリティを実現する。
• ダウンビートトラッキングを用いて、音楽的に意味のある重複のない断片を生成し、モデルの汎化性能を向上させる。
• 訓練には3種類のネガティブペア（R1R3、R2R1、R3R1）を用い、アブレーションスタディにより、3種類すべてを用いることで性能が向上することが示された。

実験結果

リサーチクエスチョン

• RQ1 音楽パズルゲームに基づく自己教師あり学習フレームワークは、音声における順序パターンを効果的に学習できるか？
• RQ2 提案されたSENモデルは、同じ楽曲または異なる楽曲からの音声断片を並べ替える際、既存のシアンプソンネットワークと比べてどのように優れているか？
• RQ3 ダウンビートを考慮した分割は、モデルが音楽的に意味のあるパターンを学習する能力をどの程度向上させるか？
• RQ4 異なる楽曲からの断片を含む複雑なタスク、たとえば音楽メドレー生成には、モデルが一般化できるか？
• RQ5 正しく時間的順序を識別できるようにするために、どの種類のネガティブトレーニングサンプルが最も効果的か？

主な発見

• ダウンビートを考慮した分割を用いて訓練したSENモデルは、音楽メドレー・ゲームで0.790のグローバル正解率を達成し、ベースラインモデルを顕著に上回った。
• R1R3、R2R1、R3R1の3種類のネガティブペアをすべて使用した訓練が最良の性能をもたらし、R2R1のみを用いるのは最適な結果を得るには不十分であった。
• モデルは正しい順序ペアと誤った順序ペアを区別するだけでなく、連続（R2R1）と非連続（R1R3、R3R1）のペアの区別も行えるようになっており、順序構造への感受性が示された。
• アブレーションスタディにより、コサイン類似度を内積に置き換えると、正規化された類似度スコアが得られなくなるため性能が低下することがわかった。
• モデルは予測において局所的な順序を保持しており、多くの誤った予測でさえ、正しい局所的セグメント順序が維持されているため、音楽的に妥当に聞こえることが多かった。
• 学習済み特徴の可視化から、畳み込みフィルタが類似度行列内の明確なパターンやテクスチャを検出しており、モデルが意味のある構造的情報を捉えていることが確認された。