[论文解读] Syntactically Informed Text Compression with Recurrent Neural Networks

David Cox|arXiv (Cornell University)|Aug 8, 2016

Natural Language Processing Techniques参考文献 23被引用 7

一句话总结

本文提出了一种基于循环神经网络（RNN）的文本压缩模型，通过词性（POS）标签整合句法信息，以提升下一个字符的预测准确率。通过分别使用RNN处理字符和POS标签，合并其输出，并在多样化文本上进行训练，该模型在引入POS输入后实现了平均5.33%的准确率提升，展现出在压缩任务中实现通用化、预训练语言建模的潜力。

ABSTRACT

We present a self-contained system for constructing natural language models for use in text compression. Our system improves upon previous neural network based models by utilizing recent advances in syntactic parsing -- Google's SyntaxNet -- to augment character-level recurrent neural networks. RNNs have proven exceptional in modeling sequence data such as text, as their architecture allows for modeling of long-term contextual information.

研究动机与目标

• 开发一种神经网络模型，通过词性标注整合句法结构，以提升文本压缩性能。
• 解决先前神经网络模型在捕捉自然语言序列中长期依赖关系和句法关系方面的局限性。
• 探索通用化、预训练语言模型在文本压缩中的可行性，以减少对文档特定训练的需求。
• 评估句法信息对建模准确率及在多样化文本中泛化能力的影响。
• 研究将多个神经网络组合用于复杂语言建模任务（如压缩）的潜力。

提出的方法

• 使用两条并行的RNN流：一条处理字符序列，另一条处理词性（POS）标签序列。
• 在将两条RNN流的隐藏状态合并后，再通过最终的循环层和两个全连接层。
• 采用算术编码实现无损压缩，利用模型预测的概率高效编码序列。
• 通过字符和POS标签序列端到端训练模型，使用交叉熵损失进行梯度下降优化。
• 采用门控循环单元（GRUs）以稳定训练并改善长距离依赖关系的学习。
• 采用独热编码表示输入，并在包括《傲慢与偏见》和《双城记》在内的多部文学文本上评估性能。

实验结果

研究问题

• RQ1 在基于RNN的语言模型中整合句法信息（POS标签）是否能提升文本压缩的下一个字符预测准确率？
• RQ2 引入POS标签如何影响模型在多样化、未见文本上的泛化能力？
• RQ3 在多样化文本上训练的单一通用RNN模型，在无需文档特定微调的情况下，能在多大程度上实现具有竞争力的压缩性能？
• RQ4 在扩展RNN模型以实现通用化语言建模的压缩任务时，面临哪些计算和训练稳定性挑战？
• RQ5 在复杂语言建模任务中，组合多个领域特定的神经网络是否能优于单一的单体模型？

主要发现

• 与不使用POS输入的基线模型相比，添加词性标签使《傲慢与偏见》模型的预测准确率平均提升了5.33%。
• 该模型在其训练文档《傲慢与偏见》上达到了93.91%的高准确率，但在较短文档（如字符数少于167,500）上显示出过拟合的迹象。
• 在《双城记》模型中，第650个周期后出现梯度不稳定，导致准确率显著下降，表明长期训练稳定性存在挑战。
• 该模型在其他文本上表现出合理的泛化能力，在《福尔摩斯》上达到59.04%的准确率，在尼采作品上达到58.44%，表明其在不同体裁间具有可迁移性。
• 在Amazon g2.2xlarge实例上，训练单个文档特定模型约需48小时，凸显了每份文档训练的计算成本。
• 结果支持了预训练、通用化语言模型在文本压缩中的可行性，该模型可消除每份文档的训练开销。