[論文レビュー] Automatic Composition of Guitar Tabs by Transformers and Groove Modeling

Yu‐Hua Chen, Yu-Hsiang Huang+2 more|arXiv (Cornell University)|Aug 4, 2020

Music and Audio Processing参考文献 38被引用数 12

ひとこと要約

本稿では、リズミカルな一体感（グルーブ）モデリングを組み込んだ、自動指使いギタータブの作成に特化したTransformer-XLモデルの微調整を提案する。グルーブに配慮した生成は、より音楽的に整合性があり、聴覚的に快適な出力を得られることを示しており、人間の聴取者による評価でも、モデルが生成したタブは実際の人の作成したタブと同等の音質であると評価された。

ABSTRACT

Deep learning algorithms are increasingly developed for learning to compose music in the form of MIDI files. However, whether such algorithms work well for composing guitar tabs, which are quite different from MIDIs, remain relatively unexplored. To address this, we build a model for composing fingerstyle guitar tabs with Transformer-XL, a neural sequence model architecture. With this model, we investigate the following research questions. First, whether the neural net generates note sequences with meaningful note-string combinations, which is important for the guitar but not other instruments such as the piano. Second, whether it generates compositions with coherent rhythmic groove, crucial for fingerstyle guitar music. And, finally, how pleasant the composed music is in comparison to real, human-made compositions. Our work provides preliminary empirical evidence of the promise of deep learning for tab composition, and suggests areas for future study.

研究の動機と目的

• ギターや他の品の弦楽器において重要な指使いのノート・ストリング配置を、標準的なMIDIベースのモデルではしばしば無視されるが、深層学習モデルがそのような指使いを音楽的に意味のある形で生成できるかどうかを調査すること。
• 明示的なグルーブのアノテーションが与えられていない状況でも、表現的な指使いギターアレンジメントに不可欠な一貫性のあるリズミカルなグルーブを生成できるかどうかを評価すること。
• 音声再生と人間の聴取者による評価を用いて、モデルが生成したギタータブと実際の人の作成したタブの間で、感覚的品質を比較すること。
• グルーブの異なるベクトル量子化表現が、生成されたタブシーケンスの品質とリズミカルな一体感に与える影響を調査すること。

提案手法

• モデルは、記号的ギタータブ表現を順序付きトークンとして処理できるように変更されたMusic Transformer-XLアーキテクチャを用いる。
• タブ表現は、弦の位置、フレット、演奏テクニックをエンコードしており、モデルが fretboard 特有のノートコンビネーションを学習できるようにする。
• 4種類のベクトル量子化されたグルーブ表現（ハード、ソフト、離散埋め込みおよび連続埋め込みを用いた2つの変種）を導入し、評価した。
• グルーブイベントは、バー単位で一貫したリズミカルな感触を維持するように、入力シーケンスに高レベルのリズミカルなキューとして挿入された。
• モデルは、時間的整合性を確保するため16分音符グリッドに投影された、333の指使いギタータブから構成される選別済みデータセットで微調整された。
• 客観的指標には、予測されたグルーブパターンと正解との間のハード正解率とソフト距離が含まれる。主観的評価には、音声再生と人間の聴取者によるリッカート尺度評価が用いられた。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、記号的タブ入力のみから、ノートシーケンスに加えて、ギターフレットボード上で現実的で一貫性のある指使いを生成できるか？
• RQ2 明示的なグルーブモデリングを組み込むことで、生成されたギタータブのリズミカルな一体感と音楽的整合性が向上するか？
• RQ3 音声再生されたモデル生成タブは、実際の人の作成したタブと比較して、聴取者の好みや認識品質においてどの程度の差があるか？

主な発見

• グルーブに配慮したモデルは、両方の客観的指標において、グルーブなしベースラインを顕著に上回った。ハードおよびソフトグルーブ表現は、実際の継続パターンとの類似度が高かった。
• ハードグルーブモデルは、主観的評価で平均意見スコア（MOS）3.43を達成し、実際のタブ（MOS 3.48）と統計的に差がないことが判明した。
• ユーザースタディーに参加したプロフェッショナルは、グルーブに配慮したモデルとグルーブなしモデルを区別でき、グルーブに配慮した生成物は、メロディックなつながりとリズミカルな感触が優れていると報告した。
• 長期的な構造的整合性においては、実際の人の作成したタブに比べてモデルの性能は依然として劣っており、拡張された音楽的形式をモデル化する余地があることが示された。
• 16小節という短い長さであったが、ハードグルーブ生成物の音質は、実際の人のタブと同等に評価された。これは、今後の発展に大きな可能性を秘めていることを示唆している。