[论文解读] A Non Linear Approach towards Automated Emotion Analysis in Hindustani Music

Shankha Sanyal, Archi Banerjee+3 more|arXiv (Cornell University)|Dec 1, 2016

Music and Audio Processing参考文献 3被引用 3

一句话总结

本研究采用非线性多分形分析方法，结合多分形去趋势波动分析（MFDFA），检测印度斯坦古典音乐Alap部分中的情感内容。通过对六种拉加之的三分钟Alap演奏（涵盖三种乐器）进行分析，该方法揭示了与情感风味相关的独特多分形特征，表明声学信号中的非线性动力学可有效区分复杂音乐传统中的情感线索。

ABSTRACT

In North Indian Classical Music, raga forms the basic structure over which individual improvisations is performed by an artist based on his/her creativity. The Alap is the opening section of a typical Hindustani Music (HM) performance, where the raga is introduced and the paths of its development are revealed using all the notes used in that particular raga and allowed transitions between them with proper distribution over time. In India, corresponding to each raga, several emotional flavors are listed, namely erotic love, pathetic, devotional, comic, horrific, repugnant, heroic, fantastic, furious, peaceful. The detection of emotional cues from Hindustani Classical music is a demanding task due to the inherent ambiguity present in the different ragas, which makes it difficult to identify any particular emotion from a certain raga. In this study we took the help of a high resolution mathematical microscope (MFDFA or Multifractal Detrended Fluctuation Analysis) to procure information about the inherent complexities and time series fluctuations that constitute an acoustic signal. With the help of this technique, 3 min alap portion of six conventional ragas of Hindustani classical music namely, Darbari Kanada, Yaman, Mian ki Malhar, Durga, Jay Jayanti and Hamswadhani played in three different musical instruments were analyzed. The results are discussed in detail.

研究动机与目标

• 为解决在印度斯坦古典音乐中自动检测情感的挑战，其中拉加之与多种情感风味相关联。
• 探究声学信号中的非线性动力学，特别是Alap部分，是否携带可检测的情感信息。
• 开发并验证一种基于MFDFA的多分形方法，用于量化音乐时间序列的复杂性，以实现情感分类。
• 考察乐器特有的演奏差异是否影响拉加之情感表达的多分形特征。

提出的方法

• 采用多分形去趋势波动分析（MFDFA）从六种印度斯坦拉加之的三分钟Alap录音中提取多分形特征。
• 所选拉加之包括达拉比·卡纳达（Darbari Kanada）、亚曼（Yaman）、米安·基·马拉（Mian ki Malhar）、杜尔加（Durga）、贾雅·贾扬蒂（Jay Jayanti）和汉斯瓦德哈尼（Hamswadhani），每种拉加之在三种不同乐器上演奏。
• 对音频信号进行预处理以确保一致性，并应用MFDFA以量化长程相关性和多分形标度行为。
• 计算奇异谱和多分形宽度（Δα）作为信号复杂性和情感内容的关键描述符。
• 比较不同拉加之和乐器之间的多分形特征，以识别与特定情感风味相关的模式。
• 通过MFDFA结果的可视化与统计分析，将信号复杂性与拉加之已知的情感关联相关联。

实验结果

研究问题

• RQ1 印度斯坦音乐Alap部分的多分形分析能否揭示与特定情感风味相对应的可区分模式？
• RQ2 音乐信号的多分形特性在不同拉加之和乐器之间如何变化？
• RQ3 声学信号中的非线性动力学在多大程度上反映了传统上与拉加之相关的情感内容？
• RQ4 奇异谱宽度与拉加之演奏的情感复杂性之间是否存在一致关系？

主要发现

• 多分形宽度（Δα）在不同拉加之之间表现出显著差异，表明与情感表达相关的信号复杂性水平各异。
• 达拉比·卡纳达和杜尔加等拉加之表现出更宽的多分形谱，与悲悯与英雄主义等复杂情感风味相关。
• 乐器选择影响多分形特征，即使在同一拉加之内，Δα也存在差异，表明演奏风格会影响情感感知。
• 基于MFDFA的分析成功区分了六种拉加之的情感特征，支持该方法对情感内容的敏感性。
• 奇异谱的视觉检查揭示了每种拉加之的一致性模式，强化了MFDFA在音乐情感分类中的潜力。
• 结果表明，Alap部分中的非线性动力学携带可用于印度斯坦音乐中自动化情感识别的判别性信息。