[论文解读] Increasing the Interpretability of Recurrent Neural Networks Using Hidden Markov Models

Viktoriya Krakovna, Finale Doshi‐Velez|arXiv (Cornell University)|Jun 16, 2016

Explainable Artificial Intelligence (XAI)参考文献 11被引用 58

一句话总结

本文提出一种混合模型，将循环神经网络（RNNs）与隐马尔可夫模型（HMMs）结合，以在不损失性能的前提下提升可解释性。通过在LSTM隐藏状态上训练HMM，并将HMM状态分布整合到LSTM输出中，该模型学习到互补特征（如标点符号、空格和注释符号），从而更清晰地解释RNN的行为，同时在预测似然性方面优于独立模型。

ABSTRACT

As deep neural networks continue to revolutionize various application domains, there is increasing interest in making these powerful models more understandable and interpretable, and narrowing down the causes of good and bad predictions. We focus on recurrent neural networks (RNNs), state of the art models in speech recognition and translation. Our approach to increasing interpretability is by combining an RNN with a hidden Markov model (HMM), a simpler and more transparent model. We explore various combinations of RNNs and HMMs: an HMM trained on LSTM states; a hybrid model where an HMM is trained first, then a small LSTM is given HMM state distributions and trained to fill in gaps in the HMM's performance; and a jointly trained hybrid model. We find that the LSTM and HMM learn complementary information about the features in the text.

研究动机与目标

• 在医疗等高风险领域中，提升循环神经网络（RNNs）在序列数据任务中的可解释性，其中模型透明度至关重要。
• 通过将RNN与隐马尔可夫模型（HMMs）的固有可解释结构相结合，解决RNN的“黑箱”特性。
• 探究HMM与LSTM是否能在序列数据中学习互补特征，如标点符号、空格和注释标记。
• 开发并评估联合或顺序结合HMM与LSTM的混合架构，以实现更好的性能与可解释性。
• 提供可视化与定量证据，证明该混合模型能捕捉文本数据中有意义且人类可理解的模式。

提出的方法

• 在字符级序列数据（莎士比亚、Linux内核、Penn Treebank）上训练一个两层LSTM，不使用dropout，梯度裁剪的L2范数阈值为5。
• 使用前向滤波后向抽样（FFBS）抽样HMM隐藏状态，转移参数通过多项式-狄利克雷后验更新，发射参数通过正态-逆维希特后验更新以处理连续HMM。
• 在LSTM隐藏状态上训练连续发射HMM以建模高层状态动态，并直接在原始数据上训练离散发射HMM作为对比。
• 将HMM状态分布整合到LSTM输出层，使LSTM能够利用HMM预测来填补空白并提升鲁棒性。
• 训练一个混合模型，先训练HMM，再使用HMM状态分布作为输入特征对小型LSTM进行微调。
• 训练一个端到端联合优化的混合模型，其中HMM与LSTM组件在共享监督下共同训练。

实验结果

研究问题

• RQ1 在LSTM隐藏状态上训练的HMM能否提供对文本中序列模式更可解释的表示？
• RQ2 HMM与LSTM是否在序列数据中学习互补特征，如标点符号、空格和注释标记？
• RQ3 将HMM状态分布整合到LSTM输出是否能提升预测性能，相比独立模型？
• RQ4 该混合架构能否在参数更少的情况下，实现比大型独立LSTM更好的预测似然？
• RQ5 HMM与LSTM状态的可视化在多大程度上能揭示可解释、人类可理解的数据模式？

主要发现

• 在Penn Treebank数据集上，该混合HMM-LSTM模型在20个LSTM维度和10个HMM状态下的验证预测对数似然为-1.97，优于相同规模的独立LSTM模型。
• 在Linux内核数据集上，20个LSTM和10个HMM状态的联合混合模型达到-1.90的验证对数似然，超过独立LSTM的-1.88。
• 可视化结果显示，HMM有效捕捉了注释符号和缩进空格等特征，而LSTM则识别出标点符号和元音模式，表明其学习具有互补性。
• 在Shakespeare数据集上，5个LSTM维度和10个HMM状态的混合模型达到-2.30的验证对数似然，优于5维独立LSTM的-2.41。
• 在Penn Treebank上，20个LSTM和10个HMM状态的联合混合模型达到-1.71的验证对数似然，为所有测试模型中的最佳结果。
• 基于单个LSTM隐藏状态维度训练的决策树显示，特定维度追踪了注释字符和标点符号，证实了可解释的特征学习。