[論文レビュー] Learning long-term music representations via hierarchical contextual constraints

Shiqi Wei, Gus Xia|arXiv (Cornell University)|Feb 13, 2022

Music and Audio Processing被引用数 5

ひとこと要約

本論文では、対照的事前学習と階層的微調整を通じて階層的文脈制約を適用することにより、2段階のフレームワークを提案し、フレーズ単位の分離可能で文脈的な音楽表現を学習する。長期的表現を短期的表現に近づける制約を課し、部分フレーズ表現の再構成を強制することで、訓練を安定化させ、潜在次元数を増加させることなく、フレーズレベルのスタイル転送、潜在空間の補間、テーマ変異において最先端の性能を達成した。

ABSTRACT

Learning symbolic music representations, especially disentangled representations with probabilistic interpretations, has been shown to benefit both music understanding and generation. However, most models are only applicable to short-term music, while learning long-term music representations remains a challenging task. We have seen several studies attempting to learn hierarchical representations directly in an end-to-end manner, but these models have not been able to achieve the desired results and the training process is not stable. In this paper, we propose a novel approach to learn long-term symbolic music representations through contextual constraints. First, we use contrastive learning to pre-train a long-term representation by constraining its difference from the short-term representation (extracted by an off-the-shelf model). Then, we fine-tune the long-term representation by a hierarchical prediction model such that a good long-term representation (e.g., an 8-bar representation) can reconstruct the corresponding short-term ones (e.g., the 2-bar representations within the 8-bar range). Experiments show that our method stabilizes the training and the fine-tuning steps. In addition, the designed contextual constraints benefit both reconstruction and disentanglement, significantly outperforming the baselines.

研究の動機と目的

• 短いセグメントを超えたフレーズ単位の安定的かつ分離可能な長期的音楽表現を学習する課題に対処すること。
• 長距離の音楽表現学習において、エンドツーエンドの階層的モデルの不安定さと低性能を克服すること。
• ピッチやリズムなどの制御可能な要因を伴い、高品質で一貫性のあるフレーズ単位（例：8小節フレーズ）の音楽生成を可能にすること。
• 潜在次元数を増加させることなく、意味的で解釈可能な表現へモデルを誘導するインダクティブバイアスを設計すること。
• 学習された表現を用いて、フレーズレベルのスタイル転送、潜在空間要因の補間、テーマ変異を実証すること。

提案手法

• フレーズレベル表現を対照的損失を用いて事前学習し、フレーズレベルと小節レベルの表現の差を最小化する。
• EC²-VAEを用いてピッチおよびリズムの分離可能な小節レベル表現を、教師信号として抽出する。
• フレーズレベルコードから小節レベル表現を再構成する階層的予測ヘッドを用いて、モデルを微調整する。
• 事前学習および微調整の両段階で構造的InfoNCE損失を適用し、訓練を安定化させ、文脈的一致性を強制する。
• 初期の微調整段階ではエンコーダーを固定し、徐々に全ネットワークを微調整することで、表現品質を向上させる。
• リズム要因の補間にはSLERPを、テーマ変異にはノイズを伴う事後分布サンプリングを用いる。

実験結果

リサーチクエスチョン

• RQ1 構造的文脈制約は、長期的音楽表現モデルの訓練を安定化させ得るか？
• RQ2 長期的コードから短期的表現の再構成を強制することで、分離性と一貫性が向上するか？
• RQ3 潜在次元数を増加させることなく、フレーズレベル表現は高品質なスタイル転送、補間、テーマ変異を可能にするか？
• RQ4 安定性および性能の観点から、提案手法はエンドツーエンドの階層的モデルと比較して優れているか？
• RQ5 長期的表現は、短期的モデルに比べ、グローバル構造とローカル一貫性の両方をよりよくモデル化できるか？

主な発見

• 提案手法は、8小節フレーズにおけるピッチおよびリズム要因の再構成と分離性において、ベースラインモデルを顕著に上回った。
• 異なる楽曲間の表現を入れ替えることで、フレーズレベルのスタイル転送において最先端の性能を達成した。
• SLERPによる補間により、小節間の遷移でさえも一貫性のあるメロディが得られ、学習済み表現に強いグローバル一貫性があることを示した。
• リズム要因の事後分布サンプリングによるテーマ変異は、音楽的に妥当で滑らかな遷移を生成し、リズム構造に対する制御性を示した。
• 主観的評価では、Hierarchical-EC²-VAEが2小節EC²-VAEよりも創造性、自然さ、全体的な音楽的質において有意に高い評価を得た（p < 0.05）。
• 小節レベル表現のみを教師信号として用いているにもかかわらず、人間が作曲した楽曲と比較して、特に創造性において競争力のある品質に到達した。