[論文レビュー] On Perceived Emotion in Expressive Piano Performance: Further Experimental Evidence for the Relevance of Mid-level Perceptual Features

Shreyan Chowdhury, Gerhard Widmer|arXiv (Cornell University)|Jul 28, 2021

Music and Audio Processing参考文献 16被引用数 4

ひとこと要約

本研究は、バッハの・クラーヴァー・ウェルトゥン・クレーバー第1巻を6名の著名なピアニストが演奏した演奏において、中レベルの知覚的特徴が感情の評価（覚醒度と価値）を予測する役割を調査する。人間による感情評価と、低レベル音声特徴、スコアベース特徴、事前学習済み感情特徴、中レベル知覚的特徴の複数の特徴セットを用いて、中レベル特徴が、特に逸脱した演奏において、パフォーマンス固有の感情的変動を捉える点で他の特徴よりも優れていることを示し、表現的音楽感情認識におけるその重要な役割を強調する。

ABSTRACT

Despite recent advances in audio content-based music emotion recognition, a question that remains to be explored is whether an algorithm can reliably discern emotional or expressive qualities between different performances of the same piece. In the present work, we analyze several sets of features on their effectiveness in predicting arousal and valence of six different performances (by six famous pianists) of Bach's Well-Tempered Clavier Book 1. These features include low-level acoustic features, score-based features, features extracted using a pre-trained emotion model, and Mid-level perceptual features. We compare their predictive power by evaluating them on several experiments designed to test performance-wise or piece-wise variations of emotion. We find that Mid-level features show significant contribution in performance-wise variation of both arousal and valence -- even better than the pre-trained emotion model. Our findings add to the evidence of Mid-level perceptual features being an important representation of musical attributes for several tasks -- specifically, in this case, for capturing the expressive aspects of music that manifest as perceived emotion of a musical performance.

研究の動機と目的

• 表現的ピアノ演奏における感情の評価（覚醒度と価値）を予測するための、異なる音楽的特徴レベルの寄与要因を解明すること。
• 中レベルの知覚的特徴が、低レベル音声特徴やスコアベース特徴に比べ、パフォーマンス固有の感情的質をよりよく捉えられるかどうかを評価すること。
• 事前学習済み感情モデルと中レベル特徴の予測力が、同じ楽曲を異なるピアニストが演奏した際の感情的変動をどの程度モデル化できるかを評価すること。
• 中レベル特徴が、通常から著しく逸脱した感情表現を示す個性的な演奏に一般化できるかどうかを調査すること。

提案手法

• バッハの・クラーヴァー・ウェルトゥン・クレーバー第1巻の6名の完全録音から、48曲の最初の8小節について人間による感情評価（覚醒度と価値）を収集した。
• 4つの特徴セットを抽出した：低レベル音声特徴（例：スペクトル的、時間的）、スコアベース特徴（例：調性、音高、アタックレート）、事前学習済み感情モデル特徴、中レベル知覚的特徴（例：テンポ、アーティキュレーション、ダイナミクスの変化）。
• 線形回帰モデルをこれらの特徴で訓練し、パフォーマンス単位および楽曲単位の変動実験を用いて覚醒度と価値を予測した。
• 覚醒度-価値空間における楕円型エッジ検出法を用いて、逸脱した演奏を同定し、個性的な解釈への一般化性をテストした。
• 四象限ベースのラベル（幸せ、リラックス、悲しみ、怒り）を用いたロジスティック回帰による離散的感覚分類を、各特徴セットで評価した。
• 感情分類にはLOOCV（1人を除いた交差検証）を用い、回帰タスクのモデル性能を比較するためにR²スコアを報告した。

実験結果

リサーチクエスチョン

• RQ1 中レベルの知覚的特徴は、同じ楽曲の異なる演奏において、感情の評価（覚醒度と価値）を信頼性高く予測できるか？
• RQ2 パフォーマンス固有の感情的変動をモデル化する際、中レベルの知覚的特徴は低レベル音声特徴、スコアベース特徴、事前学習済み感情モデル特徴に比べて、どの程度高い予測力を持つのか？
• RQ3 中レベル特徴は、通常から著しく逸脱した感情表現を示す逸脱演奏にどの程度一般化できるか？
• RQ4 中レベル特徴は、音楽推薦システムに関連する離散的感覚分類タスクにおいて利点を示すか？

主な発見

• 中レベル知覚的特徴は、覚醒度と価値の両方において、パフォーマンス単位の変動を予測する点で、他のすべての特徴セットを顕著に上回り、事前学習済み感情モデルよりも高いR²スコアを示した。
• 楕円型エッジ検出法による異常値検出で、48の演奏（グレン・ゴールドが13曲、フリードリヒ・グルダが10曲など）が感情的に特異であると特定され、中レベル特徴はこのテストセットで最も強い予測性能を示した。
• スコアベース特徴は、価値予測において予想に反して優れた性能を示したが、これは主に調性特徴が価値と強く相関していたためであり、特に価値の変動が覚醒度の変動ほど大きくないことに起因した。
• 離散的感覚分類では、すべての特徴セットの性能がほぼ同等であったが、中レベル特徴がわずかに優位であり、ランダムベースライン（0.25）を著しく上回る正確性を示した。
• 中レベル特徴は、強固さと解釈可能性を兼ね備えており、説明可能な感情認識や、感情認識付き音楽推薦、生成音楽などのアプリケーションに最適である。
• 結果は、中レベル知覚的特徴が、表現的でパフォーマー依存の感情的質を捉えるために、単に有効であるのではなく、本質的に不可欠であることを確認した。