[论文解读] Identification of potential Music Information Retrieval technologies for computer-aided jingju singing training

Rong Gong, Xavier Serra|arXiv (Cornell University)|Nov 2, 2017

Music and Audio Processing参考文献 4被引用 3

一句话总结

本文通过分析课堂实践和学员反馈，识别出适用于京剧（Jingju）演唱计算机辅助教学的音乐信息检索（MIR）技术。研究确定了五个音乐维度——音准、节奏、音量、音色和发音——的相对重要性，并提出了针对性的MIR解决方案，以数据驱动的反馈支持传统的口传心授教学法。

ABSTRACT

Music Information Retrieval (MIR) technologies have been proven useful in assisting western classical singing training. Jingju (also known as Beijing or Peking opera) singing is different from western singing in terms of most of the perceptual dimensions, and the trainees are taught by using mouth/heart method. In this paper, we first present the training method used in the professional jingju training classroom scenario and show the potential benefits of introducing the MIR technologies into the training process. The main part of this paper dedicates to identify the potential MIR technologies for jingju singing training. To this intent, we answer the question: how the jingju singing tutors and trainees value the importance of each jingju musical dimension-intonation, rhythm, loudness, tone quality and pronunciation? This is done by (i) classifying the classroom singing practices, tutor's verbal feedbacks into these 5 dimensions, (ii) surveying the trainees. Then, with the help of the music signal analysis, a finer inspection on the classroom practice recording examples reveals the detailed elements in the training process. Finally, based on the above analysis, several potential MIR technologies are identified and would be useful for the jingju singing training.

研究动机与目标

• 分析专业京剧演唱训练课堂的结构与教学实践。
• 从导师和学员的视角，评估五个京剧音乐维度——音准、节奏、音量、音色和发音——的相对重要性。
• 识别可支持京剧演唱训练的具体音乐信息检索（MIR）技术，使其与教学优先事项相匹配。
• 通过将训练需求映射到技术解决方案，弥合传统京剧声乐教学与现代信号处理之间的差距。
• 为开发能够提供实时、维度特定反馈的智能系统奠定基础，以提升京剧演唱教育的效率。

提出的方法

• 将课堂演唱实践和导师口头反馈分类为五个音乐维度：音准、节奏、音量、音色和发音。
• 对京剧学员开展调查，评估每个音乐维度在训练中的感知重要性。
• 对录制的课堂录音进行详细信号分析，提取并检查与每个维度相关的具体演唱要素。
• 将识别出的训练需求与现有MIR技术相匹配，这些技术可分析音高、时间、动态、频谱包络和语音内容。
• 评估应用MIR技术（如音高追踪、起音检测、频谱质心分析和音素识别）于京剧演唱数据的可行性。
• 将研究发现综合为一个面向京剧教学法的潜在MIR工具框架，强调实时反馈与传统教学目标的一致性。

实验结果

研究问题

• RQ1 京剧演唱导师和学员在训练中如何对五个核心音乐维度——音准、节奏、音量、音色和发音——进行优先排序？
• RQ2 在课堂反馈中，每个音乐维度内最常被提及的具体演唱要素是什么？
• RQ3 哪些音乐信息检索（MIR）技术可有效适配以分析和提供关于这些京剧演唱维度的反馈？
• RQ4 MIR系统如何设计以补充京剧训练中的传统口传心授教学法？
• RQ5 哪些信号处理技术最适用于捕捉京剧演唱的感知细微差别，特别是音准准确性、节奏精确性和发音清晰度？

主要发现

• 导师和学员均将音准列为最重要维度，其次为发音、节奏、音量和音色。
• 导师频繁就音准准确性和发音清晰度提供反馈，表明这两者是京剧演唱掌握的核心。
• 在合奏和表演情境中，节奏和音量受到强调，表明训练中需要注重时间控制和动态调节。
• 信号分析表明，由于京剧特有的发声方式和音域特征，音高追踪和共振峰追踪在技术上是可行的。
• 音素识别和频谱包络分析在评估发音和音色方面具有潜力，但因非西方语音和音色特征，仍面临挑战。
• MIR工具的整合可实现实时、维度特定的反馈，从而提升传统京剧训练方法的可扩展性和一致性。