[论文解读] Improving Interpretability of Deep Neural Networks with Semantic Information

Yinpeng Dong, Hang Su+2 more|arXiv (Cornell University)|Mar 12, 2017

Explainable Artificial Intelligence (XAI)参考文献 35被引用 17

一句话总结

本文提出一种方法，通过在模型中引入人类描述中的语义主题并结合解释性损失，提升深度神经网络（DNN）在视频字幕生成任务中的可解释性。通过使用预测差异最大化算法将神经元特征与主题关联，并引入人机协同优化流程，模型实现了更准确且可解释的字幕生成，20个测试视频中有17个在人工反馈后预测结果得到改善。

ABSTRACT

Interpretability of deep neural networks (DNNs) is essential since it enables users to understand the overall strengths and weaknesses of the models, conveys an understanding of how the models will behave in the future, and how to diagnose and correct potential problems. However, it is challenging to reason about what a DNN actually does due to its opaque or black-box nature. To address this issue, we propose a novel technique to improve the interpretability of DNNs by leveraging the rich semantic information embedded in human descriptions. By concentrating on the video captioning task, we first extract a set of semantically meaningful topics from the human descriptions that cover a wide range of visual concepts, and integrate them into the model with an interpretive loss. We then propose a prediction difference maximization algorithm to interpret the learned features of each neuron. Experimental results demonstrate its effectiveness in video captioning using the interpretable features, which can also be transferred to video action recognition. By clearly understanding the learned features, users can easily revise false predictions via a human-in-the-loop procedure.

研究动机与目标

• 解决深度神经网络（DNN）在视频理解任务中的黑箱问题。
• 通过将人类描述中的语义信息嵌入DNN，提升模型的可解释性。
• 通过人机协同学习流程，使用户能够纠正模型错误。
• 开发一种方法，通过将学习到的特征与语义上具有意义的主题关联，实现对特征的解释。
• 将可解释性与优化能力迁移至其他相关任务，如视频动作识别。

提出的方法

• 使用自然语言处理技术从人类生成的视频字幕中提取语义上有意义的主题。
• 在训练过程中引入解释性损失，以正则化模型，使其学习与这些主题对齐的特征。
• 提出一种预测差异最大化算法，将每个神经元学习到的特征解释为与特定主题相关联。
• 通过允许用户为错误预测补充缺失主题，实现人机协同学习。
• 通过增强激活，提高与缺失主题相关联的神经元在相关训练样本中的平均激活值。
• 通过微调目标实现校正传播：最小化优化特征与理想特征之间的L2距离，同时惩罚参数的大幅变动。

实验结果

研究问题

• RQ1 能否有效利用人类描述中的语义主题来解释DNN中的隐藏特征？
• RQ2 人机协同学习流程是否能通过纠正错误预测来提升模型准确率？
• RQ3 在训练过程中集成可解释性，是否能带来比事后解释更好的性能和更可靠的预测？
• RQ4 可解释性与优化机制能否迁移至其他视频理解任务（如动作识别）？
• RQ5 在人工反馈后，模型性能如何变化？其性能是否具备泛化能力且不过拟合？

主要发现

• 所提方法在经优化的测试数据上取得了BLEU分数0.449和METEOR分数0.298，表明性能持续提升且无退化。
• 经人机协同优化后，20个预测不准确的测试视频中有17个在后半部分生成了更准确的字幕，证明了错误纠正的有效性。
• 在反馈后，模型成功学习到对关键视觉概念（如“北极熊”、“摩托车”、“舞蹈”）的检测与强调，提升了泛化能力。
• 特征的可解释性显著增强，每个神经元的激活均可有意义地关联至语义主题（如“道路”或“游泳”）。
• 校正传播方法有效微调了编码器，生成了改进的特征，且未出现过拟合，表现为L2正则化项保持平衡。
• 可解释性框架可迁移至视频动作识别任务，表明其在字幕生成之外具有更广泛的应用潜力。