[論文レビュー] Similarity Embedding Network for Unsupervised Sequential Pattern Learning by Playing Music Puzzle Games.

Yu-Siang Huang, Szu-Yu Chou+1 more|arXiv (Cornell University)|Sep 13, 2017

Music and Audio Processing参考文献 24被引用数 1

ひとこと要約

本稿では、複数秒にわたる音声断片を正しい順序に並べる「音楽パズルゲーム」タスクを用いて学習することで、連続する音楽パターンを学習する自己教師付きシアンプス型畳み込みネットワーク「類似埋め込みネットワーク（SEN）」を提案する。SENはフレームレベルの類似度埋め込みを改善し、連続的かつ正しい順序の断片ペアをよりよく特定するようになる。音楽ジャイガス、順序付け、メドレーの各タスクでベースラインを上回る性能を発揮する。

ABSTRACT

Generating music medleys is about finding an optimal permutation of a given set of music clips. Toward this goal, we propose a self-supervised learning task, called the music puzzle game, to train neural network models to learn the sequential patterns in music. In essence, such a game requires machines to correctly sort a few multisecond music fragments. In the training stage, we learn the model by sampling multiple non-overlapping fragment pairs from the same songs and seeking to predict whether a given pair is consecutive and is in the correct chronological order. For testing, we design a number of puzzle games with different difficulty levels, the most difficult one being music medley, which requiring sorting fragments from different songs. On the basis of state-of-the-art Siamese convolutional network, we propose an improved architecture that learns to embed frame-level similarity scores computed from the input fragment pairs to a common space, where fragment pairs in the correct order can be more easily identified. Our result shows that the resulting model, dubbed as the similarity embedding network (SEN), performs better than competing models across different games, including music jigsaw puzzle, music sequencing, and music medley. Example results can be found at our project website, this https URL.

研究の動機と目的

• 人間によるアノテーション付き順序ラベルなしで、音楽の順序パターンを学習する課題に対処すること。
• 音声断片から時間的順序を推論できる自己教師付き学習フレームワークを構築すること。
• 制御可能で段階的な難易度のパズルゲームを用いて学習することで、音楽メドレー生成のための表現学習を改善すること。
• フレームレベルの類似度スコアを共有空間に効果的に埋め込むニューラルアーキテクチャを設計すること。
• 単純な断片ペアの組み合わせから完全な音楽メドレー再構成まで、複雑度が増す複数のタスクでモデルを評価すること。

提案手法

• モデルは、音声断片のペアを処理するためのシアンプス型畳み込みネットワークアーキテクチャを用いる。
• 学習中、サンプリングされた重複のない断片ペアが連続的かつ正しい時間的順序にあるかどうかを予測するようにネットワークを最適化する。
• 断片ペア間のフレームレベル類似度スコアが計算され、学習された変換を用いて共有潜在空間に埋め込まれる。
• 埋め込み空間は、正しく順序付けられた連続ペアが、非連続または逆順ペアよりも容易に識別できるように最適化される。
• 正しくない順序の断片ペアと区別できるように、対照損失を用いてエンドツーエンドでモデルを学習する。
• テストでは、最も複雑なものが音楽メドレーである複数のパズルゲームのバリエーションを含む。

実験結果

リサーチクエスチョン

• RQ1 音楽パズルゲームを用いた自己教師付き学習は、音楽の順序パターンを学習するモデルに効果的に機能するか？
• RQ2 提案された類似埋め込み機構は、標準的なシアンプスネットワークと比較して、正しい断片順序の特定をどの程度向上させるか？
• RQ3 学習された表現は、単純な順序付けから複雑なメドレー再構成まで、タスク難易度の異なるレベルにわたってどの程度一般化できるか？
• RQ4 本モデルは、順序パターン学習タスクにおいて、既存の非教師ありまたは弱教師ありアプローチを上回るか？
• RQ5 明示的なセグメント順序の教師なしで、モデルは音楽に意味的な時間的構造を学習できるか？

主な発見

• 提案された類似埋め込みネットワーク（SEN）は、音楽ジャイガス、音楽順序付け、音楽メドレーの全評価タスクで優れた性能を達成した。
• 特に複雑で高難易度の状況下でも、SENは正しい時間的順序の断片ペアを正しく特定する能力が競合モデルを上回った。
• 人間による順序ラベルなしで、意味的な順序パターンを学習できる自己教師付き音楽パズルゲームタスクは、モデルの学習に効果的である。
• フレームレベル類似度埋め込み機構は、共有埋め込み空間における正しい対比と誤りの断片ペアの識別能力を顕著に向上させた。
• モデルはパズルゲームの異なる難易度レベルにわたって良好に一般化し、耐障害性とスケーラビリティを示した。
• 成功したメドレー再構成を含む例結果は、プロジェクトのウェブサイトで公開されている。