[論文レビュー] A Categorical Approach for Recognizing Emotional Effects of Music

Mohsen Sahraei Ardakani, Amir Arbabi|arXiv (Cornell University)|Sep 17, 2017

Music and Audio Processing参考文献 20被引用数 3

ひとこと要約

本稿では、音声特徴と機械学習を組み合わせたカテゴリカルなアプローチを用いて、音楽の感情的効果を認識することを提案する。Fisherの線形判別分析を用いて、ハッピー、サッド、リラックス、エキサイティング、エピック、スリラーの6つの感情的ラベルを分類し、時間的、スペクトル的、エネルギー特徴を抽出した。サポートベクターマシンは、『エピック』音楽部分の識別において77.4%の正確性を達成し、最も高い性能を示した。

ABSTRACT

Recently, digital music libraries have been developed and can be plainly accessed. Latest research showed that current organization and retrieval of music tracks based on album information are inefficient. Moreover, they demonstrated that people use emotion tags for music tracks in order to search and retrieve them. In this paper, we discuss separability of a set of emotional labels, proposed in the categorical emotion expression, using Fisher's separation theorem. We determine a set of adjectives to tag music parts: happy, sad, relaxing, exciting, epic and thriller. Temporal, frequency and energy features have been extracted from the music parts. It could be seen that the maximum separability within the extracted features occurs between relaxing and epic music parts. Finally, we have trained a classifier using Support Vector Machines to automatically recognize and generate emotional labels for a music part. Accuracy for recognizing each label has been calculated; where the results show that epic music can be recognized more accurately (77.4%), comparing to the other types of music.

研究の動機と目的

• アルバムメタデータに基づく現在の音楽リtrievalシステムの非効率性を解消すること。
• 音声コンテンツに基づいて自動的に音楽に感情的ラベルを付与する可能性を調査すること。
• 統計的特徴分析を用いて、感情的カテゴリーの分離可能性を評価すること。
• 音楽セグメントにおける感情的効果を認識できる機械学習モデルを開発すること。
• 音声特徴を用いて、どの感情的カテゴリーが最も区別可能であるかを特定すること。

提案手法

• 音楽セグメントから時間的、周波数的、エネルギーに基づく音声特徴を抽出した。
• Fisherの線形判別分析を適用し、感情的ラベル間の分離可能性を評価した。
• 6つの感情的形容詞—ハッピー、サッド、リラックス、エキサイティング、エピック、スリラー—をターゲットラベルとして選定した。
• 特徴セットを用いてサポートベクターマシン（SVM）分類器を訓練し、感情的カテゴリーを予測した。
• Fisherの分離定理を用いて、感情クラス間での特徴セットの判別力の評価を行った。
• 感情カテゴリーごとの特徴分布の分析を通じて、分類性能を最適化した。

実験結果

リサーチクエスチョン

• RQ1 音声特徴を用いて、音楽の感情的ラベルを効果的に分離できるか？
• RQ2 特徴空間において、どの感情的カテゴリーが最も分離可能であるか？
• RQ3 機械学習モデルは、事前に定義された感情的カテゴリーに音楽をどれほど正確に分類できるか？
• RQ4 提案されたシステムにおいて、どの感情的ラベルが最も信頼性高く認識されるか？
• RQ5 時間的、スペクトル的、エネルギー特徴のそれぞれが、感情分類にどの程度寄与しているか？

主な発見

• 『リラックス』と『エピック』音楽セグメントの間で、感情的カテゴリー間の最大分離が観察された。
• サポートベクターマシン分類器は、『エピック』音楽セグメントの認識において77.4%の最高正確性を達成した。
• 『エピック』カテゴリーは、6つのうち最も正確に分類された感情的ラベルであった。
• 時間的、周波数的、エネルギー特徴が、共同して効果的な感情分類に寄与した。
• 音声特徴と統計的学習を用いた音楽の自動感情タグ付けの可能性が裏付けられた。
• 本研究は、Fisherの判別分析を用いることで、音楽の感情的分類を体系的に行うことが可能であることを示している。