[論文レビュー] The Chamber Ensemble Generator: Limitless High-Quality MIR Data via Generative Modeling

Yusong Wu, Josh Gardner+4 more|arXiv (Cornell University)|Sep 28, 2022

Music and Audio Processing被引用数 8

ひとこと要約

本稿では、音符レベルの生成モデル（Coconet）と音声合成モデル（MIDI-DDSP）を組み合わせたパイプライン、Chamber Ensemble Generator（CEG）を提案する。このシステムにより、無限に及ぶ高品質で完全にアノテーションされた室内楽曲が生成可能となる。本研究では、音楽情報検出（MIR）分野における音楽譜推定および音源分離の最先端性能を著しく向上させるCocoChoralesデータセットを構築した。特に、リソースが限られる楽器において顕著な改善が得られた。

ABSTRACT

Data is the lifeblood of modern machine learning systems, including for those in Music Information Retrieval (MIR). However, MIR has long been mired by small datasets and unreliable labels. In this work, we propose to break this bottleneck using generative modeling. By pipelining a generative model of notes (Coconet trained on Bach Chorales) with a structured synthesis model of chamber ensembles (MIDI-DDSP trained on URMP), we demonstrate a system capable of producing unlimited amounts of realistic chorale music with rich annotations including mixes, stems, MIDI, note-level performance attributes (staccato, vibrato, etc.), and even fine-grained synthesis parameters (pitch, amplitude, etc.). We call this system the Chamber Ensemble Generator (CEG), and use it to generate a large dataset of chorales from four different chamber ensembles (CocoChorales). We demonstrate that data generated using our approach improves state-of-the-art models for music transcription and source separation, and we release both the system and the dataset as an open-source foundation for future work in the MIR community.

研究の動機と目的

• 音楽情報検出（MIR）分野における、小規模で低品質なデータセットという深刻なボトル neck を解決し、モデルのスケーラビリティと性能を向上させること。
• データ拡張や教師なし学習の限界を乗り越え、豊富で構造的なアノテーションを備えた合成データを生成することにより、MIR分野の限界を押し広げること。
• 室内楽演奏の高精細な大規模データセットを生成することで、将来のMIR研究のためのスケーラブルでオープンソースの基盤を構築すること。
• これまでデータ不足のため十分にカバーされていなかった低リソース楽器（例：オboe、バスーン）のための最先端モデルの訓練を可能にすること。
• 構造的な生成パイプラインから得られる合成データが、実世界のデータセットを上回る性能を示すことが、下流のMIRタスクで確認されることを示すこと。

提案手法

• バッハのコーラルを学習したCoconetを用い、楽器ラベルと表現的演奏属性（例：スタッカート、ヴァイブラート）を含む4楽器構成の音符譜を生成する。
• URMPデータセットで学習したMIDI-DDSPを統合し、生成された音符シーケンスから高精細な音声を合成し、楽器ステムとミックス音源を生成する。
• 中間表現（音符データ、表現データ、合成パrameter）を保持・変更可能にする階層的生成パイプラインを構築する。
• オーケストレーション、テンポ、マイクロティミング、チューニング補正などの中間段階での制御された操作を適用し、多様性と現実性を向上させる。
• 24万件のユニークな演奏を生成し、CocoChoralesデータセットを構築。音声ミックス、ステム、MIDIファイル、およびノートレベルの演奏アノテーションを含む。
• CEGシステムおよびCocoChoralesデータセットをともにオープンソースとして公開し、将来的なMIR研究の加速を図る。

実験結果

リサーチクエスチョン

• RQ1 構造的な生成パイプラインから得られる合成MIRデータは、十分な現実性と豊富なアノテーションを備えており、下流タスクにおいて実世界のデータセットを上回る性能を示せるか？
• RQ2 構造的な生成階層から得られる合成データは、音楽譜推定および音源分離の性能をどの程度向上させ得るか？
• RQ3 Chamber Ensemble Generatorは、リソースが限られる楽器（例：オboe、バスーン）に対しても高品質な音声を生成できるか？
• RQ4 ノートレベルの表現や合成パrameterといった細粒度のアノテーションを含めることで、MIRタスクにおけるモデル性能はどの程度向上するか？
• RQ5 生成モデルによるデータ拡張は、将来のMIR研究のためのスケーラブルでオープンソースの基盤として機能できるか？

主な発見

• CEGを用いて生成されたCocoChoralesデータセットにより、URMPデータセット上で最先端の音楽譜推定モデルが、発表済みの最高性能を達成した。
• CocoChoralesで学習した譜面推定モデルは、実データのみで学習したベースラインモデルと比較して、F0精度で1.24 dBの向上を達成した。
• CocoChoralesで学習した音源分離モデルは、木管楽器アンサンブルのテストセットで、フルートで18.71 dB、オboeで17.28 dB、クラリネットで21.01 dB、バスーンで20.68 dBの平均SI-SDRスコアを達成した。
• CEGによって生成されたデータのおかげで、オboeデータの学習に360時間分のデータを活用可能となり、元のURMPデータセットに比べて12分未満しか存在しなかったのと比べて、過学習を回避できた。
• CocoChoralesによる性能向上はURMPデータセットに特異的であり、他のベンチマークデータセットでは性能低下が生じなかったため、負の転送が発生していないことが示された。
• これらの結果は、豊富で構造的なアノテーションを備えた合成データが、実世界のデータセットを効果的に拡張し、低リソースMIRタスクにおける新たな能力を実現できることを示している。