[論文レビュー] Improving Polyphonic Music Models with Feature-Rich Encoding

Omar Peracha|arXiv (Cornell University)|Nov 26, 2019

Music and Audio Processing参考文献 21被引用数 6

ひとこと要約

この論文では、音符列に加えて、コードなどの追加の音楽的特徴を予測するようにモデルを条件づけるか、訓練することにより、多音的音楽生成の性能を向上させる特徴豊富な符号化手法を提案している。TonicNet と呼ばれる GRU を用いたモデルは、まず各時刻でコードを予測し、その後個々の声を生成する。この手法により、JSB Chorales データセットにおいて最先端の性能を達成し、より洗練された系列表現を組み込むことで、検証損失が顕著に低減された。

ABSTRACT

This paper explores sequential modelling of polyphonic music with deep neural networks. While recent breakthroughs have focussed on network architecture, we demonstrate that the representation of the sequence can make an equally significant contribution to the performance of the model as measured by validation set loss. By extracting salient features inherent to the training dataset, the model can either be conditioned on these features or trained to predict said features as extra components of the sequences being modelled. We show that training a neural network to predict a seemingly more complex sequence, with extra features included in the series being modelled, can improve overall model performance significantly. We first introduce TonicNet, a GRU-based model trained to initially predict the chord at a given time-step before then predicting the notes of each voice at that time-step, in contrast with the typical approach of predicting only the notes. We then evaluate TonicNet on the canonical JSB Chorales dataset and obtain state-of-the-art results.

研究の動機と目的

• ノート列以外のより豊かな系列表現（例：コードなど）を用いることで、多音的音楽生成の性能が向上するかどうかを調査すること。
• 標準的なモデルが構造的な音楽的特徴をモデル化しないでノート列のみを予測するという限界を是正すること。
• 目立つ音楽的特徴（例：コード）を条件づけたり、予測したりすることで、系列モデリングを向上させるモデルを開発すること。
• より複雑な系列（追加の特徴を含む）をモデル化することで、全体的な性能が向上することを示すこと。
• 特徴豊富な符号化を用いて、標準的な JSB Chorales データセットで最先端の結果を達成すること。

提案手法

• 提案されたモデル TonicNet は、GRU を用いたアーキテクチャを採用し、各時刻でまずコードを予測した後、個々の声を生成する。
• モデルは、コードとノート列の両方を同時に予測するように訓練され、全系列をマルチ出力予測タスクとして扱う。
• 訓練データセットから抽出された目立つ特徴（例：コード）が、系列表現の一部として使用される。
• モデルは、これらの特徴を系列の一部として条件づけたり、予測対象とすることで、ターゲット系列の複雑さを高める。
• 訓練目的には、コード予測ヘッドとノート予測ヘッドの両方の損失を最小化するものである。
• コードに内在する構造的情報を活用することで、個々の声の生成がより時間的整合性を保ちやすくなる。

実験結果

リサーチクエスチョン

• RQ1 ノート列に加えて、コードのような追加の音楽的特徴をモデル化することで、多音的音楽生成モデルの性能が向上するか？
• RQ2 コードを含むより複雑な系列（＝コードを含む系列）を予測するように訓練することで、全体的な生成品質が向上し、検証損失が低減するか？
• RQ3 データセットから抽出した目立つ特徴（例：コード）を条件づけたり予測対象とすることで、モデルの時間的・調性的整合性のある多音的音楽生成能力にどのような影響を与えるか？
• RQ4 まずコードを予測し、その後ノートを生成するという階層的生成戦略は、ノートのみを出力対象とするエンドツーエンド予測と比較して、モデル性能を向上させるか？
• RQ5 JSB Chorales データセットにおける音楽生成の文脈で、特徴豊富な符号化は、標準的な系列モデリングをどれほど上回るか？

主な発見

• TonicNet は JSB Chorales データセットで最先端の性能を達成し、追加の特徴をモデル化することで生成品質が向上することを示した。
• 系列モデリングタスクにコード予測を組み込むことで、標準モデルと比較して検証セット損失が顕著に低減された。
• コードとノートを同時に予測するようにモデルを訓練することで、より整合性があり調性的に正確な多音的系列が生成された。
• モデルの階層的生成戦略（コードをノートの前に予測）により、生成音楽の時間的・調性的整合性が向上した。
• 性能向上の要因は、音楽的構造のより洗練された表現に起因しており、特徴豊富な符号化がアーキテクチャの革新と同等の影響を持つことが示された。
• 結果から、追加の特徴を含むより複雑な系列をモデル化することで、音楽生成タスクにおける一般化能力とモデリング精度が向上することが確認された。