[論文レビュー] A Unit Selection Methodology for Music Generation Using Deep Neural Networks

Mason Bretan, Gil Weinberg+1 more|arXiv (Cornell University)|Dec 12, 2016

Music Technology and Sound Studies参考文献 4被引用数 38

ひとこと要約

本稿では、可変長の音楽ユニット（1～4小節）を用いた深層学習ベースのユニット選択手法を提案する。この手法は、意味的関連性を評価するための深層構造的意味モデル（DSSM）と、連結コストを計算するためのLSTMを組み合わせており、ノートレベルの生成法よりも自然さと好まれやすさが向上する。1小節および2小節のユニットが、最も知覚的に整合性のある結果をもたらした。

ABSTRACT

Several methods exist for a computer to generate music based on data including Markov chains, recurrent neural networks, recombinancy, and grammars. We explore the use of unit selection and concatenation as a means of generating music using a procedure based on ranking, where, we consider a unit to be a variable length number of measures of music. We first examine whether a unit selection method, that is restricted to a finite size unit library, can be sufficient for encompassing a wide spectrum of music. We do this by developing a deep autoencoder that encodes a musical input and reconstructs the input by selecting from the library. We then describe a generative model that combines a deep structured semantic model (DSSM) with an LSTM to predict the next unit, where units consist of four, two, and one measures of music. We evaluate the generative model using objective metrics including mean rank and accuracy and with a subjective listening test in which expert musicians are asked to complete a forced-choiced ranking task. We compare our model to a note-level generative baseline that consists of a stacked LSTM trained to predict forward by one note.

研究の動機と目的

• 有限なライブラリに収まる可変長の音楽ユニット（1～4小節）が、ユニット選択によって効果的な音楽生成を可能にするかを調査すること。
• 意味的関連性と連結品質に基づいてユニットをランク付けする生成モデルを開発し、整合的でスタイルに一貫性のある音楽を生成すること。
• 主観的聴取テストと客観的指標を用いて、生成音楽の知覚的品質を評価し、ユニットレベルとノートレベルの生成法を比較すること。
• ユニット選択ベースの音楽生成において、音楽的構造と柔軟性のバランスをとる最適なユニット長を特定すること。

提案手法

• 有限なライブラリからユニットを選択することで入力音楽を再構成するための深層オートエンコーダーを訓練し、ライブラリの十分性を定性的に評価する。
• 生成モデルは、圧縮された埋め込み空間におけるユニット間の意味的類似度をDSSMで計算し、関連性を測定する。
• LSTMを訓練して、音楽的イベントの系列的尤度をモデル化し、ユニット境界における連結コストを計算する。
• システムは、意味的関連性と連結コストの重み付き組み合わせを用いて候補ユニットをランク付けする。
• 音楽は、合成スコアに基づいて順次ユニットを選択・連結することで生成され、1、2、または4小節のユニットが評価対象となる。
• 主観的評価は、専門音楽家による強制選択聴取テストを実施し、自然さ、好まれやすさ、スタイルの一貫性の観点から生成音楽をランク付けする。

実験結果

リサーチクエスチョン

• RQ1 有限なライブラリに収まる可変長の音楽ユニット（1～4小節）が、新しい音楽の再構成と生成を可能にするか？
• RQ2 意味的関連性と連結コストを用いたユニット選択は、ノートレベルの生成法よりも自然でスタイルに一貫性のある音楽を生成できるか？
• RQ3 ユニット選択ベースの生成において、音楽的整合性と構造的多様性のバランスをとる最適なユニット長（1、2、または4小節）は何か？
• RQ4 ユニット選択を用いた生成音楽の知覚的品質は、ノートレベルのLSTMベースラインと比べてどうか？

主な発見

• 1小節ユニットシステムは、全体の好まれやすさと自然さで最高評価を受け、2小節ユニットがそれに次ぐ結果となった。これは、短いユニットがより知覚的に整合性のある結果をもたらすことを示している。
• 4小節ユニットシステムは、生成されたセグメント自体の自然さで最高評価を受けたが、元の音楽を変更せずに使用していたため、全体の評価では柔軟性の不足により低かった。
• ノートレベルのLSTMベースラインは、シードと生成セグメント間の遷移の自然さで最高評価を受けたが、生成が進むにつれて品質が低下し、誤差の蓄積が顕著に見られた。
• 主観的聴取テストでは、すべての5つの評価基準で統計的に有意な差異（p < .05）が認められ、順位に一貫性がないという帰無仮説は棄却された。
• DSSMに基づく意味的関連性スコアは、ユニット間のスタイル的類似性を効果的に捉えており、生成音楽の知覚的整合性の向上に寄与した。
• DSSMとLSTMベースのスコアの組み合わせにより、ノートレベルのベースラインよりも一貫して好まれやすさと自然さが高く評価された音楽が生成された。