[论文解读] Cutting Recursive Autoencoder Trees

Christian Scheible, Hinrich Schuetze|arXiv (Cornell University)|Jan 13, 2013

Topic Modeling参考文献 9被引用 3

一句话总结

本文研究了半监督递归自编码器（RAE）在情感分类任务中的可解释性与结构效率。论文提出对RAE树结构进行自动剪枝，并通过分类准确率与人工判断评估其性能。主要发现为：仅使用词嵌入即可达到最先进性能，而模型所学习的树结构在语义与句法层面提供的信息与词嵌入已捕捉的内容重叠度极高，表明其在句法或语义层面的可解释性有限。

ABSTRACT

Deep Learning models enjoy considerable success in Natural Language Processing. While deep architectures produce useful representations that lead to improvements in various tasks, they are often difficult to interpret. This makes the analysis of learned structures particularly difficult. In this paper, we rely on empirical tests to see whether a particular structure makes sense. We present an analysis of the Semi-Supervised Recursive Autoencoder, a well-known model that produces structural representations of text. We show that for certain tasks, the structure of the autoencoder can be significantly reduced without loss of classification accuracy and we evaluate the produced structures using human judgment.

研究动机与目标

• 评估递归自编码器（RAE）所生成的句法与语义结构在自然语言任务中是否具备可解释性。
• 探究RAE树结构是否可在不损失分类准确率的前提下进行简化。
• 确定RAE学习的树结构与词嵌入在情感分类任务中的相对贡献。
• 通过人工标注评估RAE结构在句法与语义层面的可解释性。

提出的方法

• 作者应用多种结构简化技术：层级剪枝（限制树深度）、子树选择（选取特定子树）以及窗口选择（调整目标词周围的上下文窗口大小）。
• 在情感分类数据集上训练半监督递归自编码器（RAE），同时使用重构与分类目标，并采用联合损失函数进行优化。
• 模型使用与自编码器参数共同优化的词嵌入，最终表示由词嵌入与RAE的层次节点表示共同构成。
• 评估阶段，比较不同剪枝策略下的分类准确率，并对生成结构的语言合理性进行人工判断。
• 通过消融实验，完全移除词嵌入或树结构以隔离其各自贡献。
• 采用基于窗口的特征提取方法，通过调整上下文窗口大小，测试局部上下文对性能的影响。

实验结果

研究问题

• RQ1 RAE学习到的结构表示能否被有意义地解释为句法或语义树？
• RQ2 RAE树结构在多大程度上可被简化（如通过剪枝或窗口化）而不损失分类准确率？
• RQ3 词嵌入与RAE生成的树结构在分类性能中的相对贡献如何？
• RQ4 人工标注者是否认为RAE生成的结构在句法与语义层面具有语言学上的连贯性？

主要发现

• 表现最佳的模型仅使用词嵌入，即达到最先进准确率，优于依赖完整RAE树结构的模型。
• 通过层级剪枝或子树选择进行结构剪枝会导致准确率显著下降，除非使用完整树结构，表明树结构本身并未提升性能。
• 窗口选择实验表明，15词（每侧）的上下文窗口已足够实现高性能，表明局部上下文的重要性超过层次结构。
• 人工评估显示，RAE生成的结构在句法或语义树层面并非始终可解释，表明其与语言学范畴的对齐程度较弱。
• 将词嵌入与RAE学习的表示结合并未带来性能增益，表明两种表示之间存在高度冗余。
• 在严格限制深度（如最大层数为1）的模型中表现较差，仅当使用完整树结构时性能才得以恢复，表明完整结构中的错误传播与依赖关系对优化至关重要。