[論文レビュー] Reconstructing Human Expressiveness in Piano Performances with a Transformer Network

Jingjing Tang, Geraínt A. Wiggins+1 more|arXiv (Cornell University)|Jun 9, 2023

Music and Audio Processing被引用数 4

ひとこと要約

本論文では、標準スコアの代わりに譜面化されたスコアを使用してピアノ演奏における人間の表現性を再構築する、マルチレイヤーの双方向Transformerエンコーダーを提案する。大規模な譜面化された演奏データセットを活用し、ピアニストのアイデンティティ埋め込みを統合することで、人間らしく表現豊かな演奏を生成するモデルであり、聴取テストにおいて最先端のシステムを上回る結果を示した。特にダイナミクスと長距離にわたる表現性において優れた性能を発揮したが、完全な人間の表現性との一貫性は依然として課題である。

ABSTRACT

Capturing intricate and subtle variations in human expressiveness in music performance using computational approaches is challenging. In this paper, we propose a novel approach for reconstructing human expressiveness in piano performance with a multi-layer bi-directional Transformer encoder. To address the needs for large amounts of accurately captured and score-aligned performance data in training neural networks, we use transcribed scores obtained from an existing transcription model to train our model. We integrate pianist identities to control the sampling process and explore the ability of our system to model variations in expressiveness for different pianists. The system is evaluated through statistical analysis of generated expressive performances and a listening test. Overall, the results suggest that our method achieves state-of-the-art in generating human-like piano performances from transcribed scores, while fully and consistently reconstructing human expressiveness poses further challenges.

研究の動機と目的

• 標準スコアに依存せずに人間らしく表現豊かなピアノ演奏を生成する課題に対処すること。
• 最近の譜面化モデルから得られる譜面化スコアと演奏アライメントを活用して、表現豊かな演奏再現（EPR）を改善すること。
• 生成プロセスにピアニストのアイデンティティ埋め込みを統合することで、個々のピアニストの表現性をモデル化すること。
• 統計的分析と人間による聴取テストを通じて、最先端のシステムと比較してモデルの性能を評価すること。
• 譜面化されたスコアが、特に即興的またはノートに記録されていない装飾を含む楽曲において、EPRのための実用的で表現豊かな入力として有効であるかどうかを調査すること。

提案手法

• 本モデルは、ATEPPデータセットから得た対応する譜面化スコアと表現豊かな演奏のペアを用いて、マルチレイヤーの双方向Transformerエンコーダーを学習する。
• モデルは譜面化スコアを入力とし、位置エンコーディングと自己注意機構を用いて、表現豊かなタイミングおよびベロシティの変動を生成する。
• ピアニストのアイデンティティは、サンプリングプロセスに影響を与える条件付き制御信号として埋め込まれ、異なる演奏者間でのスタイルモデリングを可能にする。
• 表現性と現実性を向上させるために、再構築損失と adversarial 学習の組み合わせを用いてファインチューニングを行う。
• 特徴抽出には、スコアからの正規化されたベロシティおよび持続時間の偏差を含み、一貫性を確保するための平滑化と標準化処理を施す。
• 定量的分析と、生成出力、標準スコア、譜面化スコア、人間演奏との比較を目的とした聴取テストを通じて、システムを評価する。

実験結果

リサーチクエスチョン

• RQ1 標準スコアではなく譜面化されたスコアを用いて学習したTransformerベースのモデルは、人間の表現性を効果的に再構築できるか？
• RQ2 ピアノ演奏者固有のアイデンティティに条件づけられた制御を用いることで、モデルはどの程度個々のピアニストの演奏スタイルを捉え、再現できるか？
• RQ3 知覚的な表現性とダイナミクスの変動という観点から、モデルの性能は最先端のEPRシステムと比べてどの程度優れているか？
• RQ4 譜面化されたスコアから生成することで、標準スコアの直接的レンダリングよりも表現豊かな結果が得られるか？
• RQ5 長距離にわたる表現的構造やペダリングのような複雑な技術の再構築において、モデルの限界は何か？

主な発見

• 聴取テストにおいて、本モデルはVirtuosoNetを顕著に上回り、全体的な好みについてp値が0.01 < p < 0.05であった。これは統計的に有意な聴衆の好みの傾向を示している。
• 譜面化スコアから生成された演奏（G-TS）は、譜面化スコアの直接的なオーディオレンダリング（TS）よりも有意に高い評価を受け、ほとんどの楽曲でp < 0.05であった。これは表現性の再構築に成功したことを示している。
• 長期間にわたるダイナミクスおよびベロシティの変動を捉える性能が優れており、VirtuosoNetおよび標準スコアレンダリングを上回った。特に複雑なパassageで顕著であった。
• 生成された演奏は、いかなるベースラインよりも人間の演奏に知覚的に近いが、一貫して人間プレーヤーの表現性レベルに達しているわけではない。
• 譜面化スコア（TS）は標準スコア（S）よりも表現豊かであり、本モデルの出力（G-TS）はさらにそれを向上させ、微細な表現的ニュアンスの効果的な再構築を示している。
• 本モデルは優れた一般化性能を示し、未学習の標準スコアに対しても表現豊かな演奏を生成できた。G-SはVのベロシティ変動モデリングを上回った。