[論文レビュー] PIANOTREE VAE: Structured Representation Learning for Polyphonic Music

Ziyu Wang, Yiyi Zhang+5 more|arXiv (Cornell University)|Aug 17, 2020

Music and Audio Processing参考文献 39被引用数 21

ひとこと要約

PIANOTREE VAE は、スコア、同時音（simu_note）、個々の音符のネスト構造を持つ階層的木構造の変分オートエンコーダーを提案し、音楽を階層的な構文でモデル化する。この手法は、意味的に明確な潜在コードを生成し、再構成性能が向上し、MIDI イベントや標準的な VAE と比較して優れた音楽生成性能を達成する。

ABSTRACT

The dominant approach for music representation learning involves the deep unsupervised model family variational autoencoder (VAE). However, most, if not all, viable attempts on this problem have largely been limited to monophonic music. Normally composed of richer modality and more complex musical structures, the polyphonic counterpart has yet to be addressed in the context of music representation learning. In this work, we propose the PianoTree VAE, a novel tree-structure extension upon VAE aiming to fit the polyphonic music learning. The experiments prove the validity of the PianoTree VAE via (i)-semantically meaningful latent code for polyphonic segments; (ii)-more satisfiable reconstruction aside of decent geometry learned in the latent space; (iii)-this model's benefits to the variety of the downstream music generation.

研究の動機と目的

• 多声音楽は単声音楽よりも次元が高く構造が複雑であるため、そのような音楽における有効な教師なし表現学習の欠如に対処すること。
• 同時音とその時間的グループ化の関係を含む、多声音楽の階層的構文を組み込んだ深層生成モデルを設計すること。
• 特にスパarsity と階層的構造といったインダクティブバイアスを VAE アーキテクチャに埋め込むことで、表現学習を向上させること。
• 構造的潜在表現が、より優れた音楽生成と潜在空間内での解釈可能な補間を可能にすることを実証すること。

提案手法

• 各ノードがスコア、simu_note（同時音）、個々の音符を表す木構造アーキテクチャを採用し、親子関係による階層的構造を実現する。
• 各ノードは再帰的ニューラルネットワークを用いてエンコードまたはデコードを行い、子ノードを親ノードに統合するか、逆に親ノードを子ノードに分解する。これにより、双方向のメッセージスレッディングが可能になる。
• 階層的事前分布と事後分布を用いた変分オートエンコーダー枠組みを採用し、音楽的意味を捉える構造的潜在空間を学習する。
• 多声音楽をスパースなイベント系列としてモデル化することで、入力におけるスパarsity を活用し、冗長性を低減し、学習効率を向上させる。
• 階層的エンコーディングとデコーディングを両方サポートするため、音楽の抽象化レベルに応じた再構成と生成が可能になる。
• 潜在コードは、階層構造上の事後分布の平均値から導出され、後続の生成や補間に使用される。

実験結果

リサーチクエスチョン

• RQ1 多声音楽の複雑な構造と高い次元性を考慮した場合、階層的 VAE アーキテクチャは意味的で分離可能な表現を効果的に学習できるか？
• RQ2 スパarsity や階層的構文といったインダクティブバイアスを組み込むことで、標準的な VAE やイベント系列モデルと比較して、音楽の再構成・生成品質が向上するか？
• RQ3 学習された潜在表現は、潜在空間内で滑らかで意味的に明確な遷移をどの程度可能にするか？
• RQ4 PIANOTREE VAE が得る構造的表現は、MIDI イベントベースや simu_note エンベッディングベースの表現と比較して、後続の音楽生成タスクでどのように優れているか？
• RQ5 モデルは、より高い一貫性と創造性を備えた長期的音楽生成に一般化できるか？

主な発見

• 主観的評価により、PIANOTREE VAE は多声音楽のセグメントに対して意味的に明確な潜在コードを生成していることが確認された。
• ベースラインモデルと比較して、潜在空間における幾何学的整合性が高く、より優れた再構成品質を達成した。
• 主観的評価では、PIANOTREE VAE が生成する補間は、ベースラインと比較して音楽的で、遷移が滑らかであると高く評価された。
• 後続の音楽生成タスクにおいて、潜在ベクトル（z）と simu_note エンベッディングを使用した場合、MIDI イベントトークンと比較して、創造性、自然さ、音楽的整合性の観点で有意に高いスコアが得られた（p < 0.005）。
• 潜在ベクトル z を用いた長尺な生成では、MIDI イベントや simu_note 表現を用いた場合に見られるパターンの繰り返しを避け、多様で一貫性のある作品が得られた。
• 潜在ベクトル表現を用いることで、16小節の構成を段階的に生成する際の構造的一貫性が向上し、特にその恩恵が顕著に現れた。