[论文解读] Automatic Rule Extraction from Long Short Term Memory Networks

William J. Murdoch, Arthur Szlam|arXiv (Cornell University)|Feb 8, 2017

Topic Modeling参考文献 10被引用 64

一句话总结

作者为 LSTMs 引入词重要性分数，以提取代表性短语并构建一个简单的基于规则的分类器，在情感分析和 WikiMovies QA 上接近 LSTM 的输出。

ABSTRACT

Although deep learning models have proven effective at solving problems in natural language processing, the mechanism by which they come to their conclusions is often unclear. As a result, these models are generally treated as black boxes, yielding no insight of the underlying learned patterns. In this paper we consider Long Short Term Memory networks (LSTMs) and demonstrate a new approach for tracking the importance of a given input to the LSTM for a given output. By identifying consistently important patterns of words, we are able to distill state of the art LSTMs on sentiment analysis and question answering into a set of representative phrases. This representation is then quantitatively validated by using the extracted phrases to construct a simple, rule-based classifier which approximates the output of the LSTM.

研究动机与目标

• 通过识别驱动预测的输入模式来提高 NLP 中 LSTMs 的可解释性。
• 从训练好的 LSTMs 中提取反映学习模式的一致短语。
• 通过构建一个简单、可解释的基于规则的分类器来验证提取的短语。
• 展示在情感分析和复杂问答数据集（WikiMovies）上的适用性。

提出的方法

• 将 LSTM 的输出分解为乘法项和加法项，以量化单词对类别概率的贡献（方程 8–12）。
• 定义加法单元分解以考虑忘记门对下游预测的影响（方程 9–12）。
• 通过对模式相对于其类别特定贡献进行评分来提取候选短语（方程 13–16）。
• 通过构建使用优先短语进行预测的规则基础分类器来评估模式。
• 将该方法 Adapt 至 WikiMovies，通过将单词表示条件化于问题并将实体预测视为二分类任务（第 5.3.2–5.3.4 节）。
• 比较三种重要性度量（加法单元分解、单元差异、梯度）以评估可解释性和预测对齐性。

实验结果

研究问题

• RQ1 LSTM 的输出是否可以分解为可解释的逐词贡献？
• RQ2 是否存在一致重要的短语来概括 LSTM 在情感和问答任务中学到的内容？
• RQ3 是否可以用提取的短语构建的基于规则分类器来逼近情感分析和 WikiMovies 的 LSTM 性能？
• RQ4 哪些词重要性度量能产生最稳定、最有意义的短语模式？
• RQ5 提取的模式在越来越复杂的任务（情感 vs. 问答）上的推广性如何？

主要发现

• 加法单元分解提供了稳健且可解释的词重要性分数，优于简单的单元差异或梯度度量。
• 提取的短语与人类直觉一致（如情感表达、与电影相关的模式），并且可以在合理准确度下用于预测类别。
• 基于最高分短语构建的规则基分类器在情感数据集（Yelp、SST）上接近 LSTM 的性能。
• 在 WikiMovies 上，LSTM 的准确率高于基线，且基于模式的近似在较小误差范围内逼近（在模式中，单元分解 yield 最强结果）。
• 模式质量因数据集而异；加法分解产生的模式比其他度量更清晰、噪音更少。