[论文解读] InterpNET: Neural Introspection for Interpretable Deep Learning

Shane Barratt|arXiv (Cornell University)|Oct 26, 2017

Topic Modeling参考文献 14被引用 17

一句话总结

本文提出 InterpNET，一种新颖的神经网络模块，通过利用预训练分类器的内部层激活，为深度学习分类生成自然语言解释。通过在这些激活上训练一个语言生成 RNN，InterpNET 在 CUB 鸟类分类与解释数据集上实现了 37.9 的 SOTA METEOR 分数，显著优于先前方法。

ABSTRACT

Humans are able to explain their reasoning. On the contrary, deep neural networks are not. This paper attempts to bridge this gap by introducing a new way to design interpretable neural networks for classification, inspired by physiological evidence of the human visual system's inner-workings. This paper proposes a neural network design paradigm, termed InterpNET, which can be combined with any existing classification architecture to generate natural language explanations of the classifications. The success of the module relies on the assumption that the network's computation and reasoning is represented in its internal layer activations. While in principle InterpNET could be applied to any existing classification architecture, it is evaluated via an image classification and explanation task. Experiments on a CUB bird classification and explanation dataset show qualitatively and quantitatively that the model is able to generate high-quality explanations. While the current state-of-the-art METEOR score on this dataset is 29.2, InterpNET achieves a much higher METEOR score of 37.9.

研究动机与目标

• 弥合人类推理与黑箱深度神经网络之间的可解释性差距。
• 开发一种通用模块，为任意预训练分类架构生成自然语言解释。
• 探究内部层激活是否包含足够表征信息，以生成有意义且人类可理解的解释。
• 通过将解释基于网络的推理过程而非仅输入观察，改进现有图像字幕与解释模型。
• 建立一个支持准确分类与忠实解释生成的可解释人工智能框架。

提出的方法

• InterpNET 使用预训练分类网络提取中间层的分层内部激活，并将它们拼接成一个推理表征 r(x)。
• 该表征 r(x) 输入至一个语言生成 RNN（具体为 LRCN2f 架构），通过监督方式训练以生成自然语言解释 E(x,y)。
• 该方法旨在模仿人类视觉皮层中的前向处理过程，其中内部表征引导推理与解释。
• 模型在监督三元组 (x, y, E(x,y)) 上端到端训练，其中 x 为图像，y 为真实类别，E(x,y) 为人工标注的解释。
• 评估了多个 InterpNET 变体，其区别在于分类网络中使用的隐藏层数量（0 至 3 层），以研究表征深度对解释质量的影响。
• 语言生成器通过词级预测的交叉熵损失进行训练，并使用词索引到英文单词的词典映射。

实验结果

研究问题

• RQ1 能否利用深度神经网络的内部激活生成高质量、自然语言的解释？
• RQ2 与仅依赖输入或仅依赖输出的基线模型相比，引入多层级内部表征（超越最终类别概率）是否能提升解释质量？
• RQ3 分类网络隐藏层的深度如何影响生成解释的质量与连贯性？
• RQ4 像 InterpNET 这类模块化、即插即用的方法是否可应用于任意现有分类架构以实现可解释推理？
• RQ5 生成的解释在多大程度上与人类对语义相似性与相关性的判断相一致？

主要发现

• InterpNET 在 CUB 数据集上实现了 37.9 的 METEOR 分数，显著优于此前 SOTA 模型的 29.2 分。
• 使用分类网络中两层隐藏层的 InterpNET 2 在所有指标上均达到最高性能，包括 82.1 的 CIDEr 分数。
• 仅使用类别概率的模型（InterpNET 0）仍优于图像字幕基线，达到 35.0 的 METEOR 分数，表明类别统计信息本身即蕴含强大解释信号。
• 当隐藏层数量超过两层（如 InterpNET 3）时，解释质量与分类准确率均下降，表明模型表达能力与泛化能力之间存在权衡。
• InterpNET 各变体始终优于图像字幕基线及视觉解释基线模型，证明推理表征相比原始输入特征更具价值。
• 结果为以下假设提供了实证支持：神经网络的推理过程编码在其内部激活中，从而支持可解释的解释生成。