[论文解读] Human Evaluation of Interpretability: The Case of AI-Generated Music Knowledge

Haizi Yu, Heinrich Taube+2 more|arXiv (Cornell University)|Apr 15, 2020

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文提出了一种以人为中心的可解释性评估框架，用于评估人工智能生成的音乐规则，通过学生对符号化AI输出的自由文本解释。通过收集并评分描述表示音乐理论规则的直方图的自由文本描述，本研究证明人类能够成功解码复杂的AI发现知识，揭示了人工智能在人文学科中可解释性的潜力与挑战。

ABSTRACT

Interpretability of machine learning models has gained more and more attention among researchers in the artificial intelligence (AI) and human-computer interaction (HCI) communities. Most existing work focuses on decision making, whereas we consider knowledge discovery. In particular, we focus on evaluating AI-discovered knowledge/rules in the arts and humanities. From a specific scenario, we present an experimental procedure to collect and assess human-generated verbal interpretations of AI-generated music theory/rules rendered as sophisticated symbolic/numeric objects. Our goal is to reveal both the possibilities and the challenges in such a process of decoding expressive messages from AI sources. We treat this as a first step towards 1) better design of AI representations that are human interpretable and 2) a general methodology to evaluate interpretability of AI-discovered knowledge representations.

研究动机与目标

• 开发一种系统化方法，用于评估非技术领域中AI生成知识的可解释性，特别是在音乐理论领域。
• 探究人类是否能通过自由形式的文本描述，有意义地解释复杂且符号化的AI输出（例如，音乐特征的概率直方图）。
• 创建一种透明、基于评分量规的评分流程，用于评估人类对AI规则的定性解释，确保评分的公平性与可信度。
• 评估使用人类生成的文本解释作为代理指标，以评估AI发现知识表征可解释性的可行性。
• 为可解释性评估在音乐领域之外的其他领域提供可推广的方法论基础。

提出的方法

• 设计了一个基于网络的AI系统MUS-ROVER，通过数据驱动的模式发现方法，从乐谱中学习音乐创作规则。
• 将音乐规则表示为基于音乐结构经验概率分布的特征值直方图（例如，声部进行、和弦转位）。
• 向CS+Music专业的学生布置为期两周的作业，要求他们对25条AI生成的规则（11条一元规则，14条二元规则）撰写自由文本解释。
• 提供一个自我预训练阶段，包含对关键术语（例如，和弦、窗口、基特征、n-gram、直方图）的详细定义，以统一理解标准。
• 与学生及教学人员共同开展透明的讨论会，基于对关键音乐理论关键词的共识，共同制定修订后的包容性评分量规。
• 采用两点计分制，基于最终评分量规对学生的回答进行人工评分，重点考察定性洞察力，而非数值或符号的重复。

实验结果

研究问题

• RQ1 人类能否通过自由形式的文本描述，成功解码以符号化、数值化直方图形式呈现的AI生成音乐规则？
• RQ2 在解码AI发现的规则时，人类解释与既定音乐理论概念的契合程度如何？
• RQ3 当回答为开放式且定性时，人类在理解AI生成知识时面临的主要挑战是什么？
• RQ4 如何构建一个可靠、透明且公平的评分量规，用于评估人类对AI输出的定性解释？
• RQ5 该方法论框架是否可推广至评估音乐领域之外的其他领域中AI知识的可解释性？

主要发现

• 大多数学生成功解释了AI生成的音乐规则，表明即使缺乏大量领域特定训练，人类也能有意义地解码符号化AI输出。
• 学生能够在直方图中识别出已知的音乐理论概念（例如，声部进行、和弦转位），证实AI发现的规则与既定音乐原理一致。
• 相当一部分解释揭示了新颖或出人意料的洞察，这些洞察并未直接对应于已知规则，表明AI能够发现非显而易见的模式。
• 最常见的错误是误解n-gram规则中条件概率的方向，凸显了理解AI输出中序列依赖关系的关键挑战。
• 协作式评分量规制定过程催生了一个更具包容性与可信度的评估框架，显著提升了对定性回答评分的透明度与公平性。
• 本研究提供了实证证据，表明对自由文本解释的人工评估是一种可行且富有信息量的方法，可用于评估AI生成知识表征的可解释性。