[論文レビュー] Generating Music with a Self-Correcting Non-Chronological Autoregressive Model

Wayne Chi, Prachi Kumar+3 more|arXiv (Cornell University)|Aug 18, 2020

Music and Audio Processing参考文献 28被引用数 5

ひとこと要約

本稿では、固定順序のシーケンスではなく、ノートの追加・削除のシーケンスをモデル化することで、音楽を生成する自己修正型で非順序的な自己回帰モデルであるES-Netを提案する。過去の誤りを削除によって是正できるようにすることで、誤りの蓄積を低減し、細かく制御可能なインタラクティブな音楽作曲を可能にし、定量的指標および人間評価において、順序なしNADEおよびギブスサンプリングを上回る性能を発揮する。

ABSTRACT

We describe a novel approach for generating music using a self-correcting, non-chronological, autoregressive model. We represent music as a sequence of edit events, each of which denotes either the addition or removal of a note---even a note previously generated by the model. During inference, we generate one edit event at a time using direct ancestral sampling. Our approach allows the model to fix previous mistakes such as incorrectly sampled notes and prevent accumulation of errors which autoregressive models are prone to have. Another benefit is a finer, note-by-note control during human and AI collaborative composition. We show through quantitative metrics and human survey evaluation that our approach generates better results than orderless NADE and Gibbs sampling approaches.

研究の動機と目的

• ノートの削除を可能にする仕組みを導入することで、自己回帰的音楽生成における誤りの蓄積を是正すること。
• ノート単位の細かいつながりのある制御を可能にし、人間とAIの間でインタラクティブに音楽作曲を行うこと。
• 直接のピアノロール生成ではなく、編集シーケンス（追加／削除イベント）をモデル化することで、音楽生成の品質を向上させること。
• 削除機能を備えた直接的祖先サンプリングが、ギブスサンプリングおよび順序なしNADEを上回ることを示すこと。
• メロディの延長やベロシティ、ディレイレーションなどの表現的特徴の追加にもモデルの適用を拡張すること。

提案手法

• 固定されたピアノロールではなく、1つのノートを追加または削除するワンホット編集イベントのシーケンスとして音楽を表現する。
• 現在のピアノロール状態を条件として、各編集イベントの条件付き確率をモデル化するために2次元畳み込みニューラルネットワークを用いる。
• 直接的祖先サンプリングを用いて編集シーケンスを生成し、任意の順序でノートを逐次追加または削除できるようにする。
• 各編集後に更新されたピアノロールを再入力することで、次の予測を条件づけ、時間経過に伴う誤り是正を可能にする。
• データ拡張の過程で誤ったノートをマスクして追加することで、誤りを模擬し、モデルが誤りから学習できるようにする。
• すべての編集を順番に適用する累積的更新関数を用いて、編集シーケンスをピアノロールに変換する。

実験結果

リサーチクエスチョン

• RQ1 ノートの削除をサポートする非順序的自己回帰モデルは、音楽生成における誤りの蓄積を低減できるか？
• RQ2 編集シーケンスを用いた直接的祖先サンプリングは、ギブスサンプリングおよび順序なしNADEを上回る音楽の質とユーザーランクイングを達成できるか？
• RQ3 ノートの削除機能が、生成音楽の表現力および正確性をどの程度向上させるか？
• RQ4 モデルは、人間とAIの間でノート単位の細かい制御による協働的作曲をどの程度可能にするか？
• RQ5 モデルはバッハのコーラルに限定されず、ベロシティやディレイレーションなどの表現的特徴の拡張にも一般化可能か？

主な発見

• 提案手法の編集シーケンスアプローチは、人間評価において順序なしNADEおよびギブスサンプリングを著しく上回り、音楽の質において有意差が認められた（p < 0.001）。
• 参加者は、ベースラインと比較して、本モデルのサンプルが入力メロディからより改善されていると評価し、統計的に有意な好みの差が認められた（p < 0.001）。
• ユーザーの順位付けにおいて、本モデルはバッハ風の作品に高い類似性を示し、スタイルの整合性が優れていることが示された。
• クラスカル・ウォリス検定により、3つのモデル間で音楽の質の評価に有意な差が認められた（χ² = 73.07, p < 0.001）。
• ウィルコクソン符号順位検定により、本手法は全評価項目において両方のベースラインを著しく上回ることが確認された（p < 0.001）。
• ノートの削除機能が、サンプリング誤りの是正および最終出力品質の向上に不可欠であることが明らかになった。