[论文解读] Learning with Interpretable Structure from Gated RNN

Bojian Hou, Zhi‐Hua Zhou|arXiv (Cornell University)|Oct 25, 2018

Machine Learning and Algorithms参考文献 47被引用 6

一句话总结

本文提出通过基于聚类的方法从门控RNN中学习可解释的有限状态自动机（FSA），以提升模型的透明度。通过从MGU、GRU和LSTM模型中提取FSA结构，作者证明所得到的FSA不仅能模仿RNN的性能，还能提供完整的人类可模拟的决策路径，揭示了文本分类中的语义模式，并表明更少的门控结构能提升RNN性能。

ABSTRACT

The interpretability of deep learning models has raised extended attention these years. It will be beneficial if we can learn an interpretable structure from deep learning models. In this paper, we focus on Recurrent Neural Networks~(RNNs) especially gated RNNs whose inner mechanism is still not clearly understood. We find that Finite State Automaton~(FSA) that processes sequential data has more interpretable inner mechanism according to the definition of interpretability and can be learned from RNNs as the interpretable structure. We propose two methods to learn FSA from RNN based on two different clustering methods. With the learned FSA and via experiments on artificial and real datasets, we find that FSA is more trustable than the RNN from which it learned, which gives FSA a chance to substitute RNNs in applications involving humans' lives or dangerous facilities. Besides, we analyze how the number of gates affects the performance of RNN. Our result suggests that gate in RNN is important but the less the better, which could be a guidance to design other RNNs. Finally, we observe that the FSA learned from RNN gives semantic aggregated states and its transition graph shows us a very interesting vision of how RNNs intrinsically handle text classification tasks.

研究动机与目标

• 提升门控RNN的可解释性，尽管其在关键应用中被广泛使用，但其内部机制仍不透明。
• 探究有限状态自动机（FSA）是否可作为门控RNN隐藏状态的可解释代理模型，因为FSA具有人类可模拟的行为特性。
• 分析RNN中门控数量对性能的影响，并评估更简单架构（如单门MGU）是否更具有效性。
• 通过可视化FSA转移图和状态语义，揭示RNN的内在语义结构。
• 探索在安全关键领域中，使用可解释模型（如FSA）替代或解释复杂深度学习模型的可行性。

提出的方法

• 应用k-means和谱聚类方法，将门控RNN的隐藏状态聚类为离散状态，构建FSA结构。
• 基于在训练序列推理过程中观察到的状态转移，构建FSA转移规则。
• 通过同一RNN训练的多个FSA模型进行多数投票，以提升鲁棒性和性能。
• 在情感分类任务上训练并评估FSA，以对比其与原始RNN的性能表现。
• 通过识别触发状态变化（尤其是从状态0到状态1）的词语，分析FSA转移的语义含义。
• 在不同RNN类型（MGU、GRU、LSTM、SRN）之间比较FSA性能，以评估泛化能力及门控数量的影响。

实验结果

研究问题

• RQ1 能否从门控RNN的隐藏状态中有效学习到可解释的有限状态自动机（FSA）？
• RQ2 所学习的FSA在多大程度上能复现原始RNN的分类性能？
• RQ3 FSA状态与转移的语义解释是什么，特别是关于正面和负面情感词汇的语义？
• RQ4 RNN中门控数量如何影响其性能以及所学习FSA的质量？
• RQ5 FSA能否作为安全关键应用中RNN的可信、人类可模拟的替代方案？

主要发现

• 从MGU学习到的FSA表现出具有竞争力的性能，优于其他由RNN衍生的FSA，尤其在LISOR-x设置下表现更优。
• 结合多个FSA的集成方法提升了单个FSA的性能，LISOR-x在各类RNN中均表现出一致的性能增益。
• 当FSA从MGU学习时，从状态0到状态1的转移被正面情感词汇（如'wonderful'、'spectacular'）触发。
• 负面情感词汇（如'dullest'、'confusing'）与进入拒绝状态的转移相关联，表明FSA中存在语义聚类。
• 多个FSA揭示了互补的语义覆盖范围：单个FSA仅捕捉部分情感词汇库，而集成模型则覆盖更广泛的语义。
• 研究发现，RNN中的门控数量至关重要——更少的门控（如MGU的单门结构）带来更好的性能，表明最小化门控设计更优。