[論文レビュー] What were you expecting? Using Expectancy Features to Predict Expressive Performances of Classical Piano Music

Carlos Cancino-Chacón, Maarten Grachten+2 more|arXiv (Cornell University)|Sep 11, 2017

Music and Audio Processing被引用数 3

ひとこと要約

本稿では、IDyOM計算モデルからの期待値特徴量と譜面記述子を組み合わせたハイブリッドモデルを提案し、クラシック・ピアノ演奏における表現的テンポおよびダイナミクスの予測を行う。RNNベースの回帰を用いて、期待値特徴量がテンポの予測精度を顕著に向上させること（R² = 0.072）を示したが、ダイナミクスについては向上しなかった。これは、聴衆の期待が演奏タイミングに与える影響を支持する。

ABSTRACT

In this paper we present preliminary work examining the relationship between the formation of expectations and the realization of musical performances, paying particular attention to expressive tempo and dynamics. To compute features that reflect what a listener is expecting to hear, we employ a computational model of auditory expectation called the Information Dynamics of Music model (IDyOM). We then explore how well these expectancy features -- when combined with score descriptors using the Basis-Function modeling approach -- can predict expressive tempo and dynamics in a dataset of Mozart piano sonata performances. Our results suggest that using expectancy features significantly improves the predictions for tempo.

研究の動機と目的

• 計算モデルによる聴覚的期待の理解が、表現的音楽演奏の予測を改善できるかどうかを調査すること。
• 情報理論的測定による期待値特徴量が、伝統的な譜面記述子に比べ、表現的テンポおよびダイナミクスのモデリングに与える寄与を評価すること。
• 個々の演奏に適合させるのではなく、未観測の楽曲に対してテストすることで、モデルの一般化性能を評価すること。
• 聴衆の期待とパフォーマーのテンポおよびダイナミクスに関する意思決定との関係を明らかにすること。

提案手法

• 期待値特徴量は、情報の動的構造（IDyOM）モデルを用いて計算され、メロディックおよびハーモニックイベントの情報量（IC）とエントロピー（H）を推定する。
• 譜面記述子には、音高、持続時間、リズム的密度が含まれ、楽譜から抽出され、低レベルの記述子として用いられる。
• 表現的テンポはビート周期比（BPR）でモデル化され、ダイナミクスは正規化されたMIDI速度（VEL）でモデル化され、それぞれの1階微分（BPR_d、VEL_d）も併用される。
• 再帰的ニューラルネットワーク（RNN）を用いて、期待値特徴量と譜面記述子の組み合わせを入力とし、平均二乗誤差を最小化するように表現的パラメータを予測する。
• モデルの性能は、R²およびピアソン相関係数（r）を用いて評価され、Batik/Mozartコーパスを用いた5分割交差検証が実施される。
• 感度分析として、2次元微分感度マップを用いて、特徴量がモデル出力に与える寄与度を可視化する。

実験結果

リサーチクエスチョン

• RQ1 聴覚的期待の計算モデルから得られる期待値特徴量は、ピアノ演奏における表現的テンポおよびダイナミクスの予測を改善できるか？
• RQ2 期待値特徴量は、伝統的な譜面記述子に比べ、表現的パラメータの予測力において優れているか？
• RQ3 期待値特徴量と譜面記述子を組み合わせることで、未観測の楽曲に対する一般化性能が向上するか？
• RQ4 期待値測定（例：IC、H）とパフォーマンスにおけるテンポおよびダイナミクスの意思決定との間に、体系的な関係があるか？

主な発見

• 期待値特徴量の導入により、表現的テンポの予測性能が顕著に向上した。期待値特徴量と譜面記述子を組み合わせたE+SモデルではR² = 0.072を達成したが、期待値特徴量のみ（E）では0.038、譜面記述子のみ（S）では0.065であった。
• BPR_d（テンポの1階微分）についても、E+SモデルがEおよびSモデルよりも統計的に有意に優れた性能を示し、R² = 0.124を記録した。
• 期待値特徴量はダイナミクスの予測において顕著な向上を示さなかった。VELの最高R²は0.312（E+S）、VEL_dでは0.230であり、譜面記述子のみのモデルに明確な優位性は認められなかった。
• 感度分析から、予測されるイベントが予期せぬもの（ICまたはHが高値）である場合、パフォーマーは遅くする傾向にあり、過去のイベントに不確実性があった場合には速くする傾向があることが明らかになった。これは認知的負荷の軽減と整合的である。
• 結果から、期待値特徴量はテンポの予測においてダイナミクスの予測よりもより関連性が高く、これは楽曲における構造的関連（例：フレーズ終端のリタルド）が強いことによる可能性がある。
• モデルの性能指標（R²およびr）は、ショパンの音楽を対象としたBasis-Functionモデリングの先行研究と同等の水準であり、予測の妥当性が裏付けられた。