[論文レビュー] Using perceptually defined music features in music information retrieval

Anders Friberg, Erwin Schoonderwaldt+3 more|arXiv (Cornell University)|Mar 31, 2014

Music and Audio Processing参考文献 39被引用数 6

ひとこと要約

本稿は、伝統的な音楽理論ではなく、人間の聴覚的認知に基づいて定義された知覚的音楽特徴を用いて、音楽情報検索（MIR）のための新規フレームワークを提示する。MIDIおよび音声データを用いた聴取実験と計算モデル化により、少数の知覚的特徴が、最大90％の分散を説明することができ、従来の音声特徴セットを上回ることを示している。

ABSTRACT

In this study, the notion of perceptual features is introduced for describing general music properties based on human perception. This is an attempt at rethinking the concept of features, in order to understand the underlying human perception mechanisms. Instead of using concepts from music theory such as tones, pitches, and chords, a set of nine features describing overall properties of the music was selected. They were chosen from qualitative measures used in psychology studies and motivated from an ecological approach. The selected perceptual features were rated in two listening experiments using two different data sets. They were modeled both from symbolic (MIDI) and audio data using different sets of computational features. Ratings of emotional expression were predicted using the perceptual features. The results indicate that (1) at least some of the perceptual features are reliable estimates; (2) emotion ratings could be predicted by a small combination of perceptual features with an explained variance up to 90%; (3) the perceptual features could only to a limited extent be modeled using existing audio features. The results also clearly indicated that a small number of dedicated features were superior to a 'brute force' model using a large number of general audio features.

研究の動機と目的

• 音楽特徴を音楽理論ではなく、人間の知覚に基づいて再定式化すること。
• 一般的な音楽的性質を信頼性高く記述できる最小限の知覚的特徴の特定。
• これらの特徴の感情的表現に対する予測力の評価。
• 知覚的特徴と標準的な音声特徴の両者が感情レーティングをモデル化する際の有効性の比較。

提案手法

• 心理的研究に基づき、生態的知覚フレームワークに裏打ちされた9つの知覚的特徴を選定。
• 2つの異なる音楽データセットを用いて、知覚的特徴の評価を目的とした2つの聴取実験を実施。
• 計算特徴セットを用いて、記号的（MIDI）および音声データからの知覚的特徴をモデル化。
• 回帰モデルを用いて、知覚的特徴に基づき感情的表現レーティングを予測。
• 大規模な一般音声特徴セットを用いた「ブルートフォース」モデルと比較して、知覚的特徴モデルの性能を評価。
• 説明分散（R²）を主な指標として、モデルの性能を評価。

実験結果

リサーチクエスチョン

• RQ1 人間の知覚から導かれた知覚的特徴は、一般的な音楽的性質を信頼性高く記述できるか？
• RQ2 少数の知覚的特徴を用いて、音楽の感情的表現をどの程度正確に予測できるか？
• RQ3 知覚的特徴は、標準的な音声特徴と比較して、感情レーティングを予測する際に優れているか？
• RQ4 感情予測において、的を射た知覚的特徴のセットは、大規模で一般的な音声特徴セットよりも効果的か？

主な発見

• 少なくとも一部の知覚的特徴は、聴取実験において信頼性の高い評価者間の一貫性を示した。
• 少数の知覚的特徴の組み合わせを用いることで、感情的表現レーティングが最大90％の分散を説明することができた。
• 既存の音声特徴では、知覚的特徴を部分的にしかモデル化できず、現在の音声特徴表現にギャップがあることが示された。
• 少数の専用の知覚的特徴は、大規模な一般音声特徴セットを用いた「ブルートフォース」アプローチを著しく上回った。
• 知覚的特徴が、音楽感情予測において従来の音声ベースの特徴セットよりも効果的な代替手段であるという主張が結果から支持された。
• 本研究は、知覚的特徴が、感情反応の背後にある心理的次元をよりよく捉えている可能性を示唆している。