[论文解读] In a Silent Way: Communication Between AI and Improvising Musicians Beyond Sound

Jon McCormack, Toby Gifford+4 more|arXiv (Cornell University)|Feb 18, 2019

Music Technology and Sound Studies被引用 5

一句话总结

本文提出了一位协作式人工智能鼓手，通过在即兴演奏过程中使用人类表演者实时皮肤电活动数据，以表情符号为基础的可视化方式传达其内部置信状态。结果表明，这种非音乐性沟通显著增强了人类音乐家的流畅感状态，并使非专家听众感知到更具音乐平衡性的表演。

ABSTRACT

Collaboration is built on trust, and establishing trust with a creative Artificial Intelligence is difficult when the decision process or internal state driving its behaviour isn't exposed. When human musicians improvise together, a number of extra-musical cues are used to augment musical communication and expose mental or emotional states which affect musical decisions and the effectiveness of the collaboration. We developed a collaborative improvising AI drummer that communicates its confidence through an emoticon-based visualisation. The AI was trained on musical performance data, as well as real-time skin conductance, of musicians improvising with professional drummers, exposing both musical and extra-musical cues to inform its generative process. Uni- and bi-directional extra-musical communication with real and false values were tested by experienced improvising musicians. Each condition was evaluated using the FSS-2 questionnaire, as a proxy for musical engagement. The results show a positive correlation between extra-musical communication of machine internal state and human musical engagement.

研究动机与目标

• 探究通过非音乐性方式传达人工智能内部状态，如何影响人类在实时即兴演奏中的音乐参与度。
• 评估通过表情符号可视化人工智能置信度是否能增强人机音乐二重奏中的信任感与协作性。
• 评估生物测量反馈（皮肤电活动）对即兴演奏过程中人工智能行为及人类表现的影响。
• 确定观众是否认为带有非音乐性提示的表演更具音乐平衡性与吸引力。
• 探讨非听觉提示在促进人类与创造性人工智能系统之间流畅感与有效共创中的作用。

提出的方法

• 人工智能鼓手基于音乐表演数据及人类即兴演奏者实时皮肤电活动（SC）测量数据进行训练。
• 实施了表情符号系统，以实时显示人工智能内部置信水平，并在演出期间进行可视化。
• 经验丰富的即兴演奏音乐家在两种条件下与人工智能合作：真实（表情符号与实际置信度一致）和欺骗（表情符号与置信度不一致）。
• 通过FSS-2问卷测量音乐参与度，以评估流畅感与参与水平。
• 通过在线A/B听觉测试（96名参与者）评估观众感知，比较不同音乐平衡性与兴趣度。
• 从人类表演者处收集生物测量数据（SC），以探索其在指导人工智能生成过程中的潜在应用。

实验结果

研究问题

• RQ1 通过表情符号可视化人工智能内部状态是否能提升人类音乐家在即兴演奏中的流畅感与参与度？
• RQ2 与欺骗性沟通相比，真实非音乐性沟通（表情符号反映实际置信度）在音乐质量感知与协作有效性方面表现如何？
• RQ3 如皮肤电活动等生物测量反馈是否能有效用于指导人工智能行为并增强人机即兴协作的协调性？
• RQ4 非专家听众如何感知带有或不带非音乐性提示的AI表演在音乐平衡性与兴趣度方面的差异？
• RQ5 非音乐性沟通在多大程度上促进人机音乐协作中的信任感与风险承担行为？

主要发现

• 真实可视化条件下，观众感知到的音乐平衡性显著高于欺骗条件，55%的听众选择真实条件的曲目更具平衡性。
• A/B听觉测试显示，53%的参与者认为真实条件更具吸引力，55%认为其音乐平衡性更好，表明存在统计学上显著的偏好。
• 使用表情符号可视化置信度显著提升了人类音乐家实现流畅感状态的能力，该结果通过FSS-2问卷测量得出。
• 尽管已有证据表明皮肤电活动与人类二重奏中的流畅感相关，但本研究中使用SC数据并未改善人类表演者体验，可能由于传感器佩戴于手腕处。
• 观众评估表明，非音乐性提示可提升非专家对人机即兴表演质量的感知。
• 本研究支持如下假设：通过非听觉提示传达人工智能内部状态，可促成更具吸引力与效率的人机创意协作。