[论文解读] Alternative structures for character-level RNNs

Piotr Bojanowski, Armand Joulin+1 more|arXiv (Cornell University)|Nov 19, 2015

Natural Language Processing Techniques参考文献 20被引用 39

一句话总结

本文提出了两种针对字符级RNN的新型架构改进，以提升效率和性能：(1) 将字符级表征条件化于先前的词表征，(2) 将输出Softmax条件化于近期的字符历史。两种方法均在显著降低计算成本的同时，实现了与大型字符级RNN相当的性能，尤其在芬兰语和匈牙利语等形态丰富的语言上表现尤为出色。

ABSTRACT

Recurrent neural networks are convenient and efficient models for language modeling. However, when applied on the level of characters instead of words, they suffer from several problems. In order to successfully model long-term dependencies, the hidden representation needs to be large. This in turn implies higher computational costs, which can become prohibitive in practice. We propose two alternative structural modifications to the classical RNN model. The first one consists on conditioning the character level representation on the previous word representation. The other one uses the character history to condition the output probability. We evaluate the performance of the two proposed modifications on challenging, multi-lingual real world data.

研究动机与目标

• 解决标准字符级RNN在词汇量大或形态复杂语言中计算成本高和性能受限的问题。
• 通过引入结构改进，克服字符级RNN中全连接隐藏层的低效性，提升模型容量而不增加隐藏层大小。
• 通过字符级RNN利用子词级表征，减少词级别模型中常见的未登录词（OoV）问题。
• 为低词汇量序列建模提供一种更高效、可扩展的替代方案，以替代子词单元或词嵌入，用于处理罕见或未见词汇。
• 实现端到端学习，整合拼写纠错与语言建模，避免自然语言处理系统中分离的处理流程。

提出的方法

• 提出一种混合模型，结合字符级RNN与词级RNN，其中字符表征条件化于前一个词的隐藏状态。
• 引入一种条件化输出机制，使Softmax输出层条件化于最近的字符历史（例如，N个先前字符），从而在不扩展隐藏层的情况下有效提升模型容量。
• 使用固定大小的先前字符上下文窗口来条件化输出概率分布，使模型能更高效地学习长距离依赖。
• 在多语言、真实世界数据上端到端训练模型，使用交叉熵损失进行字符预测。
• 将所提模型与隐藏层大小为200和500的标准字符级RNN进行对比，采用小模型和大模型两种配置。
• 在验证集上优化条件化模型的最近历史步数（N），以在性能与计算成本之间取得平衡。

实验结果

研究问题

• RQ1 与标准字符级RNN相比，将字符级RNN条件化于词表征是否能提升性能并降低计算成本？
• RQ2 将输出Softmax条件化于近期字符历史，是否能在不增加隐藏层大小或计算复杂度的前提下提升模型容量？
• RQ3 所提模型在低资源和形态丰富的语言（如芬兰语和匈牙利语）上表现如何，这些语言具有较高的未登录词率？
• RQ4 这些架构改进在多大程度上能缩小字符级与词级RNN之间的性能差距？
• RQ5 这些模型是否能有效处理未登录词和拼写变体，而无需依赖独立的拼写检查或归一化模块？

主要发现

• 混合模型（字符+词表征）与条件化模型（历史条件化输出）在平均每个字符的交叉熵上均达到1.36比特每字符（BPC），与隐藏层大小为500的大型字符级RNN性能相当。
• 条件化模型在形态丰富的语言（如芬兰语和匈牙利语）上优于所有基线模型，分别达到1.38和1.36的BPC，而标准CRNN（隐藏层500单位）分别为1.43和1.42。
• 所提模型通过避免使用大隐藏层，显著降低了计算成本，同时保持了与更大标准RNN相当的性能。
• 平均而言，条件化模型相比隐藏层为200单位的标准字符级RNN，BPC降低了12%，错误率从1.61降至1.36 BPC。
• 在低资源和黏着性语言中，模型显著降低了未登录词率（OOVR），OOVR从标准CRNN的6.91%（芬兰语）降至条件化模型的1.38%。
• 结果表明，架构创新能够缩小字符级与词级RNN之间的性能差距，尤其当结合上下文感知的条件化机制时更为显著。