[論文レビュー] Neural Dynamic Programming for Musical Self Similarity

Christian Walder, Dongwoo Kim|arXiv (Cornell University)|Feb 9, 2018

Music and Audio Processing被引用数 3

ひとこと要約

この論文では、学習されたスコア関数を用いて編集距離を一般化することで、変換された繰り返し音楽モチーフを検出し、それを活用する神経動的プログラミングモデルであるMotifNetを提案する。編集木を用いて計算を構造化し、刈り込みヒューリスティックを適用することで、立方時間オーダーのベースラインよりも高速な推論を実現し、実際の音楽および合成音楽データセットにおいて、スタックドLSTMを上回る負の対数尤度を達成する。

ABSTRACT

We present a neural sequence model designed specifically for symbolic music. The model is based on a learned edit distance mechanism which generalises a classic recursion from computer sci- ence, leading to a neural dynamic program. Re- peated motifs are detected by learning the transfor- mations between them. We represent the arising computational dependencies using a novel data structure, the edit tree; this perspective suggests natural approximations which afford the scaling up of our otherwise cubic time algorithm. We demonstrate our model on real and synthetic data; in all cases it out-performs a strong stacked long short-term memory benchmark.

研究の動機と目的

• シンボリック音楽に一般的に見られる繰り返し・変換されたモチーフのような自己相似構造をモデル化すること。
• 標準的なRNNやLSTMが示す、モチーフに基づかない曖昧な生成を克服すること。
• 自己回帰的予測ではなく、モチーフのアラインメントを通じて長距離依存関係を捉える、微分可能で構造化されたアテンションメカニズムを開発すること。
• 編集木という新しいデータ構造と効率的な刈り込みを用いて、立方時間オーダーの動的プログラミングアルゴリズムを、モチーフ検出にスケーラブルに拡張すること。

提案手法

• モデルは、編集操作（挿入、削除、置換、同一）が微分可能で、学習関数 $f_W$ によってスコア付けされる古典的編集距離再帰の神経的一般化を用いる。
• 動的プログラミングアルゴリズムにより、音楽シーケンスのすべての部分シーケンス間のアラインメントが計算され、非隣接位置間のモチーフ関係が捉えられる。
• 計算の依存関係は、部分アラインメントを表すノードと編集操作を表すエッジを持つ編集木で表現される。
• 学習されたヒューリスティック関数が編集木の部分的展開をガイドし、有望でないアラインメントを刈り取ることで、時間計算量を削減しながらも正確性を維持する。
• 勾配がスコア関数 $f_W$ を通じて逆伝播されるように、バックプロパゲーションを用いてエンドツーエンドで訓練される。
• スコア関数 $f_W$ は、アラインメント意思決定とどのパスを展開するかを決定するのにも再利用され、効率的かつ一貫性のあるモチーフ発見を可能にする。

実験結果

リサーチクエスチョン

• RQ1 神経動的プログラミングアプローチは、シンボリック音楽シーケンスにおける変換された音楽モチーフを効果的に検出し、モデル化できるか？
• RQ2 編集距離に基づく微分可能で構造化されたアテンションメカニズムは、標準的なRNNやLSTMを上回るシーケンスモデリングをどのように改善できるか？
• RQ3 編集木のような新しいデータ構造とヒューリスティック刈り込みを用いることで、モチーフアラインメントの立方時間オーダーの計算量をどの程度削減できるか？
• RQ4 モデルが非自明なモチーフ変換（例：移調、ダイアトニックシフト）を検出できる能力が、標準ベンチマークと比較して、生成品質と対数尤度の両面で優れているか？

主な発見

• MotifNetは、4つのシンボリック音楽データセット（JBM、MUS、NOT、PMD）すべてにおいて、強いスタックドLSTMベースラインを上回り、テストセットの負の対数尤度が低かった。
• JBMデータセットでは、短いシーケンスで自己相似性が限定的であるにもかかわらず、MotifNetの負の対数尤度は1.77であり、LSTMの1.82を下回った。
• PMDデータセットでは、MotifNetの負の対数尤度は1.90であり、LSTMの2.67を大幅に下回り、より長く複雑な楽曲で顕著な改善が得られた。
• モデルの性能はハイパーパrameterのチューニングに強く依存しない：$n_{\text{priority}}$ を増やすことで計算時間と精度のトレードオフが得られ、256に達しても性能が頭打ちにはなっていない。
• ソフトマックスを用いたアブレーションスコア関数は、擬似Huber損失を用いた基本的な手法に劣っており、微分可能スコア関数の選択が性能に大きく影響することが示された。
• $d_{\text{max}}=5$（モチーフアラインメントを5回の編集操作に制限）でもモデルが成功していることから、短いモチーフアラインメントでもLSTMを上回る十分な構造的特徴を捉えられると示唆された。