[論文レビュー] Learning and Evaluating Musical Features with Deep Autoencoders

Mason Bretan, Sageev Oore+2 more|arXiv (Cornell University)|Jun 14, 2017

Music and Audio Processing参考文献 2被引用数 5

ひとこと要約

本稿では、記号的ピアノロールデータから4拍子の音楽的セグメントの連続的・低次元の埋め込みを学習するためのディープオートエンコーダーを提案する。ノイズ除去、文脈再構築、前向き予測、作曲家識別という複数の学習目的で訓練することで、前向き予測および作曲家分類の両タスクで最先端の性能を達成した。特に文脈再構築と正則化モデルが最も優れた結果を示した。

ABSTRACT

In this work we describe and evaluate methods to learn musical embeddings. Each embedding is a vector that represents four contiguous beats of music and is derived from a symbolic representation. We consider autoencoding-based methods including denoising autoencoders, and context reconstruction, and evaluate the resulting embeddings on a forward prediction and a classification task.

研究の動機と目的

• ジャンルや作曲家といった離散的ラベルに依存しないスケーラブルで連続的な音楽表現の開発を目的とする。
• 学習された埋め込みが予測や分類といったコアな音楽タスクをサポートできるかどうかを評価すること。
• 音楽的に意味のある表現を学習するための複数のオートエンコーダーに基づく学習目的（ノイズ除去、文脈再構築、前向き予測、作曲家識別）を比較すること。
• 作曲家識別といった補助タスクが、学習された埋め込みの質を向上させるかどうかを調査すること。

提案手法

• 時間分解能を確保するため、1拍（四分音符）ごとに60ピッチのピアノロールとして音楽を表現する。
• ノイズ除去目的で、ランダムなノート除去、拍の除去、オクターブの分割を用いて、ディープオートエンコーダーを訓練する。
• 文脈再構築を実装し、周囲の文脈から中央の4拍子セグメントを予測する。
• 前向き予測ネットワークを訓練し、直前の7ユニットから次の4拍子ユニットを予測する。
• 27人の作曲家に分類するため、ソフトマックス出力層を用いた作曲家識別ネットワークを訓練する。
• 文脈再構築ネットワークに対して正則化を適用し、文脈予測と作曲家分類の両方を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 オートエンコーダーに基づく手法は、ジャンルや作曲家といった離散的ラベルに依存せずに、意味のある低次元の埋め込みを学習できるか？
• RQ2 ノイズ除去、文脈再構築、前向き予測、作曲者識別といった異なる学習目的が、学習された埋め込みの質にどのように影響するか？
• RQ3 文脈再構築と作曲家識別を組み合わせることで、下流タスクにおける埋め込みの性能が向上するか？
• RQ4 学習された埋め込みが、音楽生成や分類タスクをどの程度サポートできるか？
• RQ5 前向き予測と作曲家分類の両タスクで、埋め込みの性能はどのように比較されるか？

主な発見

• 文脈再構築オートエンコーダーは、前向き予測タスクで最高の性能を示し、1000個中中央順位が15位であった。
• 作曲家識別を用いて訓練したモデルは、作曲家分類タスクでマクロF1スコア0.76を達成し、他の手法を顕著に上回った。
• 正則化された文脈再構築モデルは、予測タスクで中央順位30位、マクロF1スコア0.66を記録し、タスク間のバランスが向上した。
• すべてのモデルが顕著に異なる順位分布を示した（ボンフェローニ補正後p < 0.00037）、これにより各モデルの性能特性が明確に異なることが示された。
• モデル間で順位分布のばらつきに顕著な差が認められた（レヴェーヌ検定p < 0.001）、予測の一貫性の違いが示唆された。
• 前向き予測モデルは、ばらつきが最小（47）で、歪度が最大（4.0）であったため、他のモデルと比較して極端な外れ値の予測を多く出した。