[论文解读] Layerwise Knowledge Extraction from Deep Convolutional Networks

Simon Odense, Artur d’Avila Garcez|arXiv (Cornell University)|Mar 19, 2020

Explainable Artificial Intelligence (XAI)参考文献 29被引用 5

一句话总结

本文提出一种逐层M-of-N规则提取方法，以解释深度卷积神经网络，在规则复杂度与准确率之间取得平衡。研究发现，尽管内部层难以解释，但Softmax层却具有高度可解释性，能生成简洁且准确的规则——这为可解释人工智能提供了混合解释方法。

ABSTRACT

Knowledge extraction is used to convert neural networks into symbolic descriptions with the objective of producing more comprehensible learning models. The central challenge is to find an explanation which is more comprehensible than the original model while still representing that model faithfully. The distributed nature of deep networks has led many to believe that the hidden features of a neural network cannot be explained by logical descriptions simple enough to be comprehensible. In this paper, we propose a novel layerwise knowledge extraction method using M-of-N rules which seeks to obtain the best trade-off between the complexity and accuracy of rules describing the hidden features of a deep network. We show empirically that this approach produces rules close to an optimal complexity-error tradeoff. We apply this method to a variety of deep networks and find that in the internal layers we often cannot find rules with a satisfactory complexity and accuracy, suggesting that rule extraction as a general purpose method for explaining the internal logic of a neural network may be impossible. However, we also find that the softmax layer in Convolutional Neural Networks and Autoencoders using either tanh or relu activation functions is highly explainable by rule extraction, with compact rules consisting of as little as 3 units out of 128 often reaching over 99% accuracy. This shows that rule extraction can be a useful component for explaining parts (or modules) of a deep neural network.

研究动机与目标

• 为解决深度神经网络难以解释的问题，这些网络常因其分布式表征而被视为“黑箱”。
• 探究规则提取是否能生成对深层网络隐藏特征的可理解、高准确率的符号化描述。
• 评估卷积神经网络不同层之间规则复杂度与准确率之间的权衡。
• 确定深层网络的分布式特性是否从根本上限制规则提取，或是否存在某些层仍可被符号化解释。
• 探索将规则提取作为多方法可解释性框架中一个组件的可行性，用于深度学习。

提出的方法

• 该方法通过在M-of-N规则空间中并行搜索，寻找在复杂度与准确率之间取得平衡的规则，其中复杂度通过目标函数中的惩罚项β进行控制。
• 规则根据准确率（与网络输出匹配程度）和复杂度（参与M-of-N条件的单元数量）进行评估。
• 该算法按层应用于深层网络，重点比较不同层及激活函数下的可解释性。
• 使用最优搜索基线（CORELS）在小型网络上验证结果，再扩展至更大模型。
• 该方法假设权重排序以指导规则构建，从而实现对规则空间的高效探索。
• 该方法在MNIST、Fashion-MNIST和Olivetti Faces数据集上训练的多个CNN上进行评估，结果报告了不同复杂度惩罚下的表现。

实验结果

研究问题

• RQ1 M-of-N规则提取能否生成对深层卷积神经网络隐藏特征的准确且可理解的符号化描述？
• RQ2 不同网络层的可解释性如何比较，特别是在规则复杂度与准确率方面？
• RQ3 激活函数的选择（如ReLU、tanh、softmax）是否会影响特定层中规则提取的成功率？
• RQ4 由于分布式表征的存在，内部层是否从根本上存在规则提取障碍，还是可通过更优方法克服？
• RQ5 能否将输出层的规则提取作为混合可解释性框架中稳健且可解释的组件？

主要发现

• 在使用ReLU或tanh激活的深层CNN和自编码器中，Softmax层具有高度可解释性，仅需128个单元中的3个即可实现超过99%的准确率。
• 在Olivetti Faces数据集上，Softmax层的规则在β=0时准确率达100%，复杂度仅为0.03，β=0.1时复杂度降至0.024，准确率仅损失0.1%。
• 在Fashion-MNIST上，规则复杂度从β=0时的0.28降至β=0.1时的0.06，准确率从99.3%降至98.8%，表明在极低准确率损失下实现高度可解释性。
• 深层网络的内部层表现出较差的规则提取性能，表明通过符号规则解释分布式表征存在根本性限制。
• 该方法成功绘制了规则提取的景观图，显示增加复杂度惩罚（β）可显著减少规则大小，仅带来轻微的准确率损失。
• 初步结果显示，输出层的M-of-N规则对FGSM对抗攻击更具鲁棒性，1000个对抗样本中有376个被正确分类。