[论文解读] Brains on Beats

Umut Güçlü, Jordy Thielen+2 more|arXiv (Cornell University)|Jun 8, 2016

Neural dynamics and brain function参考文献 29被引用 14

一句话总结

本研究开发了针对音乐标签任务优化的深度神经网络（DNN），并利用其探究人类大脑中音乐的神经表征。表征相似性分析揭示了颞上回（STG）存在一个梯度：腹侧STG编码来自浅层DNN的低水平特征，而背侧STG编码来自深层DNN的高层特征。

ABSTRACT

We developed task-optimized deep neural networks (DNNs) that achieved state-of-the-art performance in different evaluation scenarios for automatic music tagging. These DNNs were subsequently used to probe the neural representations of music. Representational similarity analysis revealed the existence of a representational gradient across the superior temporal gyrus (STG). Anterior STG was shown to be more sensitive to low-level stimulus features encoded in shallow DNN layers whereas posterior STG was shown to be more sensitive to high-level stimulus features encoded in deep DNN layers.

研究动机与目标

• 开发针对自动音乐标签任务优化的深度神经网络（DNN）。
• 研究人类大脑中音乐的神经表征如何对应DNN中的分层特征。
• 绘制颞上回（STG）沿前后轴的功能特化，以响应音乐特征。
• 确定DNN是否可作为音乐感知的神经认知模型。

提出的方法

• 在音乐标签数据集上训练任务优化的深度神经网络（DNN），以生成分层特征表征。
• 从DNN的不同层提取激活模式，其中浅层捕捉低水平声学特征，深层捕捉高层语义特征。
• 获取受试者聆听音乐时的功能磁共振成像（fMRI）数据，以测量颞上回（STG）中的神经活动。
• 执行表征相似性分析（RSA），将DNN的特征表征与STG中的神经活动模式进行比较。
• 绘制STG前后轴上表征敏感性的空间梯度。
• 将DNN层的表征与神经反应对齐，以识别哪些网络深度最能预测特定STG亚区的活动。

实验结果

研究问题

• RQ1 腹侧颞上回（STG）是否编码音乐的低水平声学特征，如浅层DNN层所反映的那样？
• RQ2 背侧颞上回（STG）是否编码音乐的高层语义特征，如深层DNN层所反映的那样？
• RQ3 STG中是否存在反映音乐特征分层处理的拓扑梯度？
• RQ4 DNN表征在多大程度上能预测人类听觉皮层在音乐聆听过程中的神经反应？

主要发现

• 在颞上回（STG）的前后轴上发现了表征梯度。
• 腹侧STG与浅层DNN层表现出更高的表征相似性，表明对低水平声学特征的敏感性。
• 背侧STG与深层DNN层表现出更高的表征相似性，表明对高层语义特征的敏感性。
• DNN在自动音乐标签任务中达到了最先进水平的性能，验证了其表征能力。
• DNN层与STG亚区之间的对齐支持了DNN作为人类大脑分层听觉处理模型的适用性。