[論文レビュー] Architecture for Automated Tagging and Clustering of Song Files According to Mood

Puneet Singh, Ashutosh Kapoor+2 more|arXiv (Cornell University)|Jun 12, 2012

Music and Audio Processing参考文献 5被引用数 3

ひとこと要約

本稿では、音声特徴、歌詞の感情的コンテンツ、オンラインデータを用いた、自動的にムードに基づく楽曲分類を行うハイブリッドアーキテクチャを提案する。音声（強度、トーン、リズム）と歌詞を2次元の感情空間にマッピングし、ウェブ由来のメタデータと統合することで、デジタル図書館におけるパーソナライズド音楽検索の向上を実現する、ムードカテゴリへの正確な楽曲クラスタリングを可能にする。

ABSTRACT

Music is one of the basic human needs for recreation and entertainment. As song files are digitalized now a days, and digital libraries are expanding continuously, which makes it difficult to recall a song. Thus need of a new classification system other than genre is very obvious and mood based classification system serves the purpose very well. In this paper we will present a well-defined architecture to classify songs into different mood-based categories, using audio content analysis, affective value of song lyrics to map a song onto a psychological-based emotion space and information from online sources. In audio content analysis we will use music features such as intensity, timbre and rhythm including their subfeatures to map music in a 2-Dimensional emotional space. In lyric based classification 1-Dimensional emotional space is used. Both the results are merged onto a 2-Dimensional emotional space, which will classify song into a particular mood category. Finally clusters of mood based song files are formed and arranged according to data acquired from various Internet sources.

研究の動機と目的

• 拡大を続けるデジタル音楽図書館における、従来のジャンルベースのシステムを超えた楽曲検索の増大する課題に対処すること。
• 複数のデータソースを用いて、楽曲をムードベースのカテゴリに自動分類するアーキテクチャを開発すること。
• 音声コンテンツ分析、歌詞の感情的価値、オンライン情報の統合により、より洗練されたムード分類を実現すること。
• 楽曲を2次元の心理的感情空間にマッピングし、より洗練されたムード分類を実現すること。
• 多様なソースからの統合データを用いて、意味のあるムードベースの楽曲ファイルクラスタを形成すること。

提案手法

• 音声コンテンツ分析により、強度、トーン、リズムなどの特徴とそのサブ特徴を抽出し、音楽を2次元の感情空間にマッピングする。
• 歌詞に基づく分析により、感情的トーンを評価するための1次元の感情空間を用いて、楽曲の歌詞の感情的価値を評価する。
• 音声分析と歌詞分析の結果を統合し、包括的なムード表現を実現するため、統一された2次元の感情空間にマッピングする。
• 追加のムード関連データをオンラインソースから収集し、ムード分類の強化と検証を図る。
• クラスタリングアルゴリズムにより、統合された感情プロファイルに基づいて楽曲をムードベースのカテゴリにグループ化する。
• 最終的なシステムは、音声、歌詞、ウェブベースのメタデータからの統合入力を用いて、楽曲ファイルをムードクラスタに整理する。

実験結果

リサーチクエスチョン

• RQ1 強度、トーン、リズムなどの音声特徴を、音楽の感情的コンテンツを効果的に表現するためにどのように活用できるか。
• RQ2 歌詞の感情的コンテンツが、1次元の感情空間において、どの程度ムード分類に寄与できるか。
• RQ3 音声ベースと歌詞ベースのムード表現を、統一された2次元の感情空間にどのように統合できるか。
• RQ4 外部のオンラインソースは、ムードベースの楽曲クラスタリングの正確性と関連性を向上させるために、どのような役割を果たすか。
• RQ5 提案されたアーキテクチャは、意味的かつ明確な楽曲のムードクラスタを形成するのに、どの程度効果的か。

主な発見

• 音声と歌詞の感情的特徴を2次元の感情空間に統合することで、単一ソースアプローチに比べ、洗練され、より正確なムード分類が可能になる。
• オンラインデータの統合により、ムードベースの楽曲クラスタリングの頑健性と文脈的関連性が向上する。
• マルチモーダル分析を用いて、多様な楽曲ファイルを明確なムードカテゴリにマッピングするのに成功した。
• クラスタリングの結果は、心理的ムード次元に基づく一貫性のあるグループ化を示し、検索効率の向上を実現した。
• 本アーキテクチャは、スケーラブルかつ自動化されたデジタル音楽図書館のムードベースの整理ソリューションを提供する。
• 本アプローチは、ユーザーの感情的・心理的ニーズにより適合するため、従来のジャンルベース分類を上回る性能を示した。