[论文解读] Learning with Interpretable Structure from RNN.

Bojian Hou, Zhi‐Hua Zhou|arXiv (Cornell University)|Oct 25, 2018

Machine Learning and Algorithms参考文献 31被引用 22

一句话总结

本文提出两种基于聚类的方法，从门控循环神经网络（RNN）中学习可解释的有限状态自动机（FSA），从而更清晰地揭示RNN的行为机制。所得的FSA模型比RNN更具可解释性和可信度，尤其适用于安全关键型应用，并揭示了RNN中语义状态聚合与内在文本分类机制。

ABSTRACT

The interpretability of deep learning models has raised extended attention these years. It will be beneficial if we can learn an interpretable structure from deep learning models. In this paper, we focus on Recurrent Neural Networks~(RNNs) especially gated RNNs whose inner mechanism is still not clearly understood. We find that Finite State Automaton~(FSA) that processes sequential data has more interpretable inner mechanism according to the definition of interpretability and can be learned from RNNs as the interpretable structure. We propose two methods to learn FSA from RNN based on two different clustering methods. With the learned FSA and via experiments on artificial and real datasets, we find that FSA is more trustable than the RNN from which it learned, which gives FSA a chance to substitute RNNs in applications involving humans' lives or dangerous facilities. Besides, we analyze how the number of gates affects the performance of RNN. Our result suggests that gate in RNN is important but the less the better, which could be a guidance to design other RNNs. Finally, we observe that the FSA learned from RNN gives semantic aggregated states and its transition graph shows us a very interesting vision of how RNNs intrinsically handle text classification tasks.

研究动机与目标

• 为了提升门控RNN的可解释性，因为其内部机制仍不甚明了。
• 为了识别一种更具可解释性的结构抽象——有限状态自动机（FSA）——并可从RNN中学习得到。
• 为了评估所学习的FSA是否可作为人类参与或安全关键型应用中RNN的可信替代方案。
• 为了研究RNN中门控数量对其性能和可解释性的影响。
• 为了通过所学习的FSA转移图的视角，揭示RNN内在的语义与结构行为。

提出的方法

• 对RNN隐藏状态应用k-means聚类，将相似状态分组为FSA状态，形成状态划分。
• 使用层次聚类将RNN隐藏状态聚类为FSA状态，实现更结构化的状态抽象。
• 基于聚类分配结果和RNN中观察到的转移概率，构建FSA转移图。
• 使用监督目标训练FSA，使其模仿RNN的输出行为，确保与原始模型的一致性。
• 利用FSA的转移图与状态结构，分析RNN如何处理序列数据并执行文本分类。
• 在人工数据集和真实世界数据集上，对FSA的性能与可解释性与原始RNN进行对比评估。

实验结果

研究问题

• RQ1 能否通过聚类技术有效从门控RNN的隐藏状态中学习到可解释的有限状态自动机（FSA）？
• RQ2 所学习的FSA在文本分类任务中的性能与可解释性相较于原始RNN如何？
• RQ3 RNN中门控数量对其整体性能及可解释结构学习能力有何影响？
• RQ4 所学习FSA中的转移模式与聚合状态是否揭示了RNN处理序列时的有意义语义或结构洞察？
• RQ5 FSA能否作为人类监督或安全关键型系统中RNN的可靠且可信的替代方案？

主要发现

• 所学习的FSA模型比原始RNN更具可解释性和可信度，适用于安全关键型或人机协同应用场景的部署。
• FSA捕获了语义聚合状态，表明RNN隐式地将输入序列分组为有意义的语义类别。
• FSA转移图揭示了RNN处理与分类序列数据的结构化、分层视图，提供了其内部逻辑的洞察。
• RNN中门控数量显著影响性能，结果表明门控越少，可解释性与性能越好，暗示复杂性与清晰性之间存在权衡。
• 从RNN中学习到的FSA在人工数据集与真实数据集上均表现出具有竞争力的性能，验证了其保真度与作为代理模型的实用性。
• 基于聚类的FSA学习方法成功从复杂的RNN动态中提取出人类可读的结构，提升了模型的透明度。