[論文レビュー] BachProp: Learning to Compose Music in Multiple Styles

Florian Colombo, Wulfram Gerstner|arXiv (Cornell University)|Feb 14, 2018

Music and Audio Processing参考文献 9被引用数 7

ひとこと要約

BachProp は、多様な MIDI データセットから学習することで、任意の音楽スタイルのオリジナル音楽を生成する深層学習モデルである。独自の正規化表現を用いることで、クラウドソーシング評価において人間の期待を上回り、バッハの聖歌や弦楽四重奏曲を含む複数のスタイルで、生成された音楽がオリジナル作品と同等に好まれることが評価された。

ABSTRACT

Hand in hand with deep learning advancements, algorithms of music composition increase in performance. However, most of the successful models are designed for specific musical structures. Here, we present BachProp, an algorithmic composer that can generate music scores in any style given sufficient training data. To adapt BachProp to a broad range of musical styles, we propose a novel normalized representation of music and train a deep network to predict the note transition probabilities of a given music corpus. In this paper, new music scores sampled by BachProp are compared with the original corpora via crowdsourcing. This evaluation indicates that the music scores generated by BachProp are not less preferred than the original music corpus the algorithm was provided with.

研究の動機と目的

• 構造的仮定を必要とせず、あらゆる音楽スタイルで作曲可能な汎用的音楽生成モデルの開発。
• リズムの歪みを引き起こし、多様なデータセットでの学習を困難にする不整合なMIDI表現の課題に対処すること。
• モノフォニックおよびマルチトラックの生演奏を含む、生のMIDIシーケンスから音楽的構造をエンドツーエンドで学習すること。
• クラウドソーシングとライブ演奏を用いて、生成された音楽の主観的質をオリジナルのデータベースと比較して評価すること。
• ニューラル音楽生成が、オリジナル作品と同等に好まれる作品を生成できることを示すこと。

提案手法

• 音高、持続時間、タイミングを低次元で一貫性のあるノートシーケンスに分離する、正規化されたMIDI表現を提案。
• 正規化されたシーケンス表現からノート遷移確率を予測するための深層LSTMネットワークを用いる。
• モノフォニック、ポリフォニック、生演奏を含む多様なMIDIコーパス上でエンドツーエンドにモデルを学習。
• 学習された遷移確率からサンプリングすることで、長時間にわたって一貫性を保つようなシーケンス生成手順を適用。
• クラウドソーシングチャレンジにおいて生成された音楽とオリジナル音楽の好みを比較評価するため、TrueSkillベースの評価システムを採用。
• ライブでの弦楽四重奏団による上位評価作品の演奏を通じて、実世界における美的認識を検証。

実験結果

リサーチクエスチョン

• RQ1 同じニューラルモデルが、アーキテクチャ的バイアスなしに、多様な音楽ジャンルで一貫性があり、スタイルに正確な音楽を生成できるか？
• RQ2 正規化されたMIDI表現は、生演奏を含む多様なMIDIデータへの効果的な学習を可能にするか？
• RQ3 深層学習モデルが生成した音楽が、人間の好み評価においてオリジナル作品と同等に好まれるか？
• RQ4 リズムの複雑さや構造の多様性が異なるコーパスにおいて、モデルはどのように性能を発揮するか？
• RQ5 モデルは、スタイルの一貫性を保ちつつ、新しいトロイやムードに一般化できる程度はどの程度か？

主な発見

• BachProp は、モノラル、ポリフォニック、生演奏を含む多様なコーパスで学習しても、任意のトロイやムードで一貫性があり、スタイルに正確な音楽を生成できた。
• クラウドソーシング評価において、BachProp が生成した音楽はオリジナル音楽と同等に高く評価され、AI音楽コンテストの上位10件中9件がBachPropの出力であった。
• オリジナル音楽コーパスとBachPropが生成した楽曲は、区別できないTrueSkillスコアを示し、好みに顕著な差がないことを示した。
• 弦楽四重奏団によるノッティンガム民謡と弦楽四重奏曲を学習したBachPropの生成楽曲をライブで演奏した後の観客投票で、強い好みが確認された。
• 正規化されたMIDI表現により、バッハの生演奏録音（ジョン・サナキーの記録など）のような従来では扱いが困難だったデータセットに対しても歪みなく学習可能となった。
• モデルは長期的な一貫性を維持し、構造的整合性の損失なしに任意の長さの楽曲を生成できた。