[論文レビュー] Neural Translation of Musical Style

Iman Malik, Carl Henrik Ek|arXiv (Cornell University)|Aug 11, 2017

Cognitive Science and Education Research参考文献 13被引用数 21

ひとこと要約

本稿では、シート・ミュージックからノートの速度を予測することで、表現的な音楽的演奏を生成することができる、長短期記憶（LSTM）ネットワークに基づく深層学習モデル、StyleNetを提案する。このモデルは、短い音声クリップおよび長尺の音声クリップの両方で、人間の演奏と区別できない演奏を生成し、音楽的ターニングテストに合格した。これは、明示的なルールベースのモデリングを用いずに、自然で人間らしい表現を合成できる能力を示している。

ABSTRACT

Music is an expressive form of communication often used to convey emotion in scenarios where "words are not enough". Part of this information lies in the musical composition where well-defined language exists. However, a significant amount of information is added during a performance as the musician interprets the composition. The performer injects expressiveness into the written score through variations of different musical properties such as dynamics and tempo. In this paper, we describe a model that can learn to perform sheet music. Our research concludes that the generated performances are indistinguishable from a human performance, thereby passing a test in the spirit of a "musical Turing test".

研究の動機と目的

• 手動で作成されたルールに依存せずに、シート・ミュージックから表現的な音楽的演奏を生成するデータ駆動型モデルを開発すること。
• ニューラルネットワークが、速度やタイミングなどの動的で表現的な音楽的側面を学習・再現できるかどうかを調査すること。
• 機械による演奏が、知覚的なターニングテストにおいて人間の演奏と区別できないかどうかを評価すること。
• 音楽的スタイルを、音楽的コンテンツから分離し、移植可能なコンponentとして学習する可能性を検討すること。
• 将来的な研究を支援するための公開データセット（ピアノデータセット）を構築すること。

提案手法

• モデルは、ノートのピッチのシーケンスを入力として、予測されるノートの速度にマッピングするための長短期記憶（LSTM）ネットワークを用いる。これは、生の演奏データから表現的なタイミングとダイナミクスを学習する。
• アーキテクチャは回帰設定で訓練され、入力はノートのオンセットとピッチのシーケンスであり、出力は各ノートに対応する速度である。
• モデルは、表記法から直接表現的な演奏特性を推論できるように、大規模なMIDI演奏データセット上でエンドツーエンドで訓練される。
• 2つのバリエーションが検討された：ジャンル固有のスタイルモデリングのためのGenreNetと、一般的な演奏合成のためのStyleNet。
• 人間による知覚実験を複数実施して評価され、短いクリップおよび長尺の演奏における音楽的ターニングテストが実施された。
• 将来的には、音楽的コンテンツとスタイルをより明確に分離するための階層的アーキテクチャが提案されており、ジャンル間のスタイル転送を目的としている。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、人間の演奏と知覚的に区別できない、シート・ミュージックから表現的な音楽的演奏を生成できるか？
• RQ2 LSTMのような系列モデルは、音楽的表現に内在する長距離依存性や動的変化をどの程度捉えることができるか？
• RQ3 明示的なスタイルラベルの監視なしに、クラシックやジャズなど異なる音楽的スタイルに一般化できるか？
• RQ4 ニューラルモデルにおいて、音楽的コンテンツとスタイルを分離可能か。これにより、ジャンル間のスタイル転送が可能になるか？
• RQ5 長尺の音楽的楽曲に対して、実世界のターニングテスト環境でモデルはどの程度の性能を示すか？

主な発見

• 短いクリップでのターニングテストでは、参加者の46%しか人間の演奏を正しく特定できず、生成された演奏が本物と区別できないことを示している。
• 長尺の演奏においても、モデルは音楽的ターニングテストに合格し、参加者の46%が合成演奏と人間演奏を区別できなかった。
• 平均して、短いクリップでは53%の参加者が人間の演奏を特定できたが、これはランダムな推測の50%のベースラインをわずかに上回っているにすぎないため、非常に高い知覚的リアリズムを示している。
• 『スタイルを特定する』テストでは、参加者の47.5%がジャンル（クラシックまたはジャズ）を正しく特定できたが、これはランダムな推測よりもわずかに優れていたにすぎない。これは、明確に区別できるスタイル的特徴を生成する能力に制限があることを示している。
• 結果から、モデルは非常にリアルな演奏を生成できるが、明確に分離可能なスタイル的特徴を生成する能力に欠けていることが示唆され、ジャンル固有の表現をモデル化する点で制限があると考えられる。
• 著者らは、現在のモデルアーキテクチャではコンテンツからスタイルを分離するのに不十分であり、将来的にはより良いスタイル分解を実現するための階層的モデルの開発に注力するとして結論づけている。