[論文レビュー] The NES Music Database: A multi-instrumental dataset with expressive performance attributes

Chris Donahue, Huanru Henry Mao+1 more|arXiv (Cornell University)|Jun 11, 2018

Music and Audio Processing参考文献 21被引用数 8

ひとこと要約

本稿では、ネズ・ミュージック・データベース（NES-MDB）を紹介する。これは、モノフォニックな楽器音色の明確な分離と、ダイナミクスやトーンカラーといった詳細な表現的パラメータを備えた、大規模かつマルチインストルメンタルなネズゲーム音楽データセットである。本研究では、楽譜をハードウェアエミュレーションを介して本物のネズ音声に変換する新規パイプラインを提案し、組曲の作曲と表現的演奏のエンドツーエンドモデリングを可能にした。また、オープンソースのツールチェーンを用いて、両タスクの再現可能で基準となるベンチマークを確立した。

ABSTRACT

Existing research on music generation focuses on composition, but often ignores the expressive performance characteristics required for plausible renditions of resultant pieces. In this paper, we introduce the Nintendo Entertainment System Music Database (NES-MDB), a large corpus allowing for separate examination of the tasks of composition and performance. NES-MDB contains thousands of multi-instrumental songs composed for playback by the compositionally-constrained NES audio synthesizer. For each song, the dataset contains a musical score for four instrument voices as well as expressive attributes for the dynamics and timbre of each voice. Unlike datasets comprised of General MIDI files, NES-MDB includes all of the information needed to render exact acoustic performances of the original compositions. Alongside the dataset, we provide a tool that renders generated compositions as NES-style audio by emulating the device's audio processor. Additionally, we establish baselines for the tasks of composition, which consists of learning the semantics of composing for the NES synthesizer, and performance, which involves finding a mapping between a composition and realistic expressive attributes.

研究の動機と目的

• 既存の音楽生成データセットに表現的演奏特性が欠けていること、特にマルチインストルメンタル音楽において顕著であるというギャップを埋める。
• 個々の楽器音色データと表現的属性を保持する、構造的かつ分離された楽譜表現を提供する。
• 記号的作曲と本物の音声レンダリングを組み合わせることで、作曲と表現的演奏の両方を含む完全な音楽生成パイプラインの研究を可能にする。
• ニューラル系列モデルを用いて、作曲および演奏タスクの両方の再現可能なベースラインを確立する。
• 記号的楽譜を再生可能なネズマシンコードに変換するオープンソースのツールチェーンを提供する。

提案手法

• 1,400本のネズゲームの元のマシンコードを解析することでデータセットを構築し、4つの楽器音色の楽譜と表現的属性を抽出した。
• 各楽曲は3つの形式で表現される：ブレンドドスコア（標準的なポリフォニック表現）、分離スコア（個々のモノフォニック音色シーケンス）、表現的スコア（各音色ごとのダイナミクスおよびトーンカラー変化を含む）。
• 独自開発のライブラリにより、記号的音楽形式（例：MIDI）とネズマシンコードとの間の変換が可能になり、すべての演奏詳細が保持された。
• 著者らは、このデータセットを用いて、分離済みの作曲および表現的演奏タスクの両方でRNNベースのモデルを学習・評価した。
• ハードウェアエミュレーションツールにより、生成された楽曲を本物のネズ風音声としてレンダリングし、知覚的および定量的評価が可能になった。
• 作曲および演奏予測の両タスクにおいて、RNNや条件付き確率因子分解などの系列モデリング技術を用いてベースラインを確立した。

実験結果

リサーチクエスチョン

• RQ1 ブレンドドコード表現ではなく、分離されたモノフォニック音色表現を学習データとして用いる場合、ニューラルモデルはマルチインストルメンタル作曲の意味論を効果的に学習できるか？
• RQ2 記号的楽譜が与えられた場合、モデルはダイナミクスやトーンカラー変化といった表現的演奏属性をどれほど正確に予測できるか？
• RQ3 楽器音色を分離することで、ブレンドドスコア表現と比較して、生成音楽の質と表現性がどの程度向上するか？
• RQ4 作曲と演奏のモデリングを統合したパイプラインは、それぞれのタスクを独立してモデリングする場合と比較して、より現実的で音楽的に整合性のあるネズ風音楽を生成できるか？
• RQ5 マルチインストルメンタルな楽器の相互作用の複雑さを考慮すると、本データセットにおける表現的演奏モデリングは、ソロピアノを対象としている既存の手法と比較してどの程度優れているか？

主な発見

• NES-MDBデータセットには、ライセンス取得済みのネズゲームから抽出された1,400件以上のマルチインストルメンタル楽曲が含まれており、各楽曲に4つの分離済み楽器音色と詳細な表現的属性が付随している。
• 分離スコア表現により、劣化したブレンドドスコア形式と比較して、ポリフォニック音楽のより正確で表現的なモデリングが可能になった。
• RNNベースのモデルを用いて、作曲および演奏タスクの両方の再現可能なベースラインを確立し、ベースライン手法よりも表現性が向上していることを実証した。
• オープンソースのツールチェーンにより、生成された楽曲を本物のネズ音声として直接再生可能であり、生成音楽のリアルな評価が可能になった。
• 本データセットは、記号的作曲から波形レンダリングまでの完全な音楽生成パイプラインをサポートし、マルチインストルメンタルで表現的な音楽生成研究における重要な空白を埋めた。
• 本研究では、ダイナミクスやトーンカラー変化といった表現的演奏属性が、生成音楽の知覚的品質を著しく向上させ、より自然で音楽的に整合性のある音色に仕上げることの重要性を示した。