[论文解读] Building Interpretable Interaction Trees for Deep NLP Models

Die Zhang, Huilin Zhou+7 more|arXiv (Cornell University)|Jun 29, 2020

Topic Modeling被引用 5

一句话总结

本文提出一种事后方法，利用Shapley值量化交互收益，以提取并可视化训练好的深度神经网络（DNN）中层次化的词语交互关系，适用于自然语言处理（NLP）任务。该方法构建了一个可解释的交互树，揭示了BERT、ELMo、LSTM、CNN和Transformer模型中显著的非加性词语交互关系，表明DNN学习到的逻辑与句法结构存在显著差异。

ABSTRACT

This paper proposes a method to disentangle and quantify interactions among words that are encoded inside a DNN for natural language processing. We construct a tree to encode salient interactions extracted by the DNN. Six metrics are proposed to analyze properties of interactions between constituents in a sentence. The interaction is defined based on Shapley values of words, which are considered as an unbiased estimation of word contributions to the network prediction. Our method is used to quantify word interactions encoded inside the BERT, ELMo, LSTM, CNN, and Transformer networks. Experimental results have provided a new perspective to understand these DNNs, and have demonstrated the effectiveness of our method.

研究动机与目标

• 在不改变模型架构或性能的前提下，解释训练好的DNN在NLP中的行为。
• 客观量化深度网络中编码的词语之间的交互关系，超越单个词语的贡献分析。
• 构建一个层次化树结构，可视化词语及其成分之间的显著交互关系。
• 开发诊断性度量指标，用于分析交互模式，包括成分内部与成分之间的交互关系。
• 提供一种通用的、事后诊断工具，用于理解最先进NLP模型中的信号处理机制。

提出的方法

• 使用Shapley值计算词语对模型预测的无偏贡献，确保公平性与一致性。
• 将交互收益定义为联合贡献与个体贡献之和的差值：$ B = \phi_{\text{all}} - \sum_{i=1}^{m} \phi_i $。
• 构建一个二叉树，其中每个非叶节点代表一个具有显著交互收益的成分，通过高交互强度连接其子成分。
• 采用贪心算法，通过递归合并交互收益最高的成分对来构建树结构。
• 引入六项度量指标以分析交互特性，包括成分内部与成分之间的交互量化以及交互建模比率。
• 在SST-2和CoLA数据集上，将该方法应用于BERT、ELMo、LSTM、CNN和Transformer模型，使用2000次采样进行Shapley值估计。

实验结果

研究问题

• RQ1 如何客观量化DNN内部表示中多个词语之间的交互关系？
• RQ2 DNN在NLP任务中学习到的交互关系在多大程度上偏离了句法结构？
• RQ3 层次化树结构能否有效表示不同DNN架构中编码的显著词语交互关系？
• RQ4 BERT、ELMo、LSTM、CNN和Transformer等模型之间的交互模式有何差异？
• RQ5 哪些度量指标能够有效诊断并解析深度NLP模型中词语交互的本质？

主要发现

• 交互树成功捕捉到有意义的非加性交互关系——例如'不一致'与'情感'之间的负面交互，使'情感'的正面情感极性被反转为负面。
• BERT和Transformer模型通常形成具有顺序性、层次化结构的交互树，而CNN则倾向于采用'主语-谓语-短语'结构。
• 在CoLA数据集中，BERT在提取的交互树与句法树之间的契合度得分为36.06（未标注F1），表明与句法结构的对齐程度仅属中等。
• 在SST-2数据集中，Transformer模型的契合度得分最高，达到23.49，表明其编码了比其他模型更结构化的交互模式。
• 该方法揭示了DNN建模的交互关系与人工标注的句法结构不一致，表现为各模型平均契合度得分较低。
• 该方法在多种架构（包括BERT、ELMo、LSTM、CNN和Transformer）中表现出鲁棒性，证实了其通用适用性。