[论文解读] Modeling Harmony with Skip-Grams

David R. W. Sears, Andreas Arzt+3 more|arXiv (Cornell University)|Jul 14, 2017

Music and Audio Processing参考文献 22被引用 14

一句话总结

本论文提出使用skip-grams——一种自然语言处理技术——来建模西方古典音乐中的音调和声，通过捕捉非连续和弦进行，减少n-gram分布中的数据稀疏性。通过在跳变阈值内包含子序列，该方法显著提高了对传统cadence（终曲）的覆盖度，并降低了罕见n-gram的比例，在模式发现任务中优于连续n-gram，尤其在3-gram和4-gram中表现更优。

ABSTRACT

String-based (or viewpoint) models of tonal harmony often struggle with data sparsity in pattern discovery and prediction tasks, particularly when modeling composite events like triads and seventh chords, since the number of distinct n-note combinations in polyphonic textures is potentially enormous. To address this problem, this study examines the efficacy of skip-grams in music research, an alternative viewpoint method developed in corpus linguistics and natural language processing that includes sub-sequences of n events (or n-grams) in a frequency distribution if their constituent members occur within a certain number of skips. Using a corpus consisting of four datasets of Western classical music in symbolic form, we found that including skip-grams reduces data sparsity in n-gram distributions by (1) minimizing the proportion of n-grams with negligible counts, and (2) increasing the coverage of contiguous n-grams in a test corpus. What is more, skip-grams significantly outperformed contiguous n-grams in discovering conventional closing progressions (called cadences).

研究动机与目标

• 为解决音调和声n-gram模型中的数据稀疏性问题，特别是针对3-gram和4-gram等高阶进行。
• 克服音乐建模中的连续性谬误，即由于非和弦音的插入，导致非连续事件（如cadence）被遗漏。
• 评估skip-grams是否能够恢复在连续n-gram分布中缺失的重复和声模式（如完美 authentic cadence）。
• 通过建模非相邻但具有结构意义的和弦事件，提升符号化音乐语料库中的模式发现与预测能力。

提出的方法

• 本研究采用声部进行类型（VLTs）构建最优的和弦类型体系，通过在低音上方以半音为单位的音程（模12）表示和弦。
• skip-grams被定义为n个和弦事件的子序列，其中构成成员在固定或可变的时间跳变（t）范围内，允许非连续事件被纳入n-gram分布。
• 评估了两种跳变条件：固定跳变（如t=2）和可变跳变（如t=2秒的起音间隔），均应用于2-gram、3-gram和4-gram。
• 该方法在四个符号化西方古典音乐语料库上进行测试，使用VLT编码标准化各数据集的和弦表示。
• 通过比较skip-gram模型对测试集中连续n-gram的恢复率与罕见n-gram的比例，计算覆盖率和稀疏性指标。
• 该方法计算效率高，在普通硬件上处理1,000个和弦序列的4-gram提取时间低于100ms。

实验结果

研究问题

• RQ1 skip-grams能否通过最小化计数可忽略的罕见n-gram比例，减少音调和声n-gram分布中的数据稀疏性？
• RQ2 与连续n-gram相比，skip-grams在测试语料库中对连续n-gram的覆盖率提升程度如何？
• RQ3 skip-grams能否成功恢复在乐谱表面非连续但具有结构性的和声进行（如cadence）？
• RQ4 通过skip-grams引入非连续事件，对检测如semplice和composta cadence等重复和声模式有何影响？

主要发现

• 对于3-gram，罕见n-gram（计数可忽略）的比例从连续模型的42.5%降至固定跳变的21.8%和可变跳变的18.7%，显著降低了稀疏性。
• 测试集中连续3-gram的覆盖率从连续模型的59.2%提升至固定跳变的84.1%和可变跳变的88.3%，有效缓解了零频问题。
• 对于4-gram，连续n-gram的覆盖率从连续模型的36.5%提升至固定跳变的71.1%和可变跳变的82.4%，显示出对结构性模式的强大恢复能力。
• 在使用skip-grams时，semplice cadence（I⁶–ii⁶–V⁷–I）在245首乐曲中被检测到32首，而连续模型中为零；composta cadence（ii⁶–“I⁶₄”–V⁷–I）在77首乐曲中被检测到，而连续模型中仅7首。
• 该方法恢复了n<5时的幂律频率-排名关系，而该关系在连续n-gram分布中已丢失，表明统计鲁棒性得到提升。
• 运行时性能可行：在1,000个和弦序列上，固定跳变条件的4-gram提取时间低于100ms，可变跳变条件低于3秒。