[论文解读] Gated Word-Character Recurrent Language Model

Yasumasa Miyamoto, Kyunghyun Cho|arXiv (Cornell University)|Jun 6, 2016

Topic Modeling参考文献 21被引用 43

一句话总结

本文提出了一种门控词-字符循环语言模型，通过自适应门控机制结合词级别和字符级别的表征，以提升语言建模性能。通过利用双向LSTM进行字符级别编码以及学习到的门控机制，该模型在Penn Treebank、BBC和IMDB数据集上实现了更低的困惑度，尤其在处理罕见词和未登录词（OOV）时表现优异。

ABSTRACT

We introduce a recurrent neural network language model (RNN-LM) with long short-term memory (LSTM) units that utilizes both character-level and word-level inputs. Our model has a gate that adaptively finds the optimal mixture of the character-level and word-level inputs. The gate creates the final vector representation of a word by combining two distinct representations of the word. The character-level inputs are converted into vector representations of words using a bidirectional LSTM. The word-level inputs are projected into another high-dimensional space by a word lookup table. The final vector representations of words are used in the LSTM language model which predicts the next word given all the preceding words. Our model with the gating mechanism effectively utilizes the character-level inputs for rare and out-of-vocabulary words and outperforms word-level language models on several English corpora.

研究动机与目标

• 通过整合字符级别信息，解决词级别语言模型在处理罕见词和未登录词（OOV）时的局限性。
• 通过引入子词级别的字符表征，克服词级别嵌入中形态信息的丢失。
• 开发一种可学习的门控机制，根据输入词的特征自适应地平衡词级别和字符级别表征。
• 通过动态选择每个词最具有信息量的表征，提升在多样化语料上的语言建模性能。
• 证明门控机制能够有效利用字符级别输入，而无需手动调整混合比例。

提出的方法

• 使用双向LSTM将每个词的字符序列编码为密集向量表征。
• 采用可学习的词查找表将词索引映射为高维词向量。
• 应用Sigmoid门控融合机制，结合两种表征：$\mathbf{x}_{w_t} = (1 - g_{w_t}) \mathbf{x}^{\text{word}}_{w_t} + g_{w_t} \mathbf{x}^{\text{char}}_{w_t}$，其中 $g_{w_t} = \sigma(\mathbf{v}_g^\top \mathbf{x}^{\text{word}}_{w_t} + b_g)$。
• 引入两阶段预训练策略：首先仅在词级别输入上训练m个周期，然后仅在字符级别输入上训练m个周期，再联合训练两者。
• 在前m个周期使用固定学习率1，后m个周期使用0.1，以稳定初始训练动态。
• 采用标准LSTM语言建模，使用交叉熵损失和词汇表上的Softmax输出。

实验结果

研究问题

• RQ1 与纯词级别模型相比，词级别与字符级别表征之间的门控融合机制是否能提升语言建模性能？
• RQ2 自适应门控是否能学习到优先使用字符级别表征处理罕见或OOV词，从而提升鲁棒性？
• RQ3 预训练如何影响门控值的分布及整体模型性能？
• RQ4 字符级别表征在低频或未见词中，能在多大程度上弥补词级别向量估计的缺失？
• RQ5 可学习的门控机制是否比固定混合比例在平衡词和字符输入方面更有效？

主要发现

• 经过预训练的门控词-字符模型在Penn Treebank和IMDB电影评论数据集上达到最低困惑度，优于纯词级别和字符级别基线模型。
• 在BBC数据集上，未使用预训练的模型达到最低困惑度，表明预训练并非在所有情况下都必要，其有效性可能依赖于数据集特性。
• 在BBC和IMDB上，模型为未登录词标记<unk>分配了显著更高的门控值，表明有效利用了字符级别表征处理未知词。
• 门控值通常较低，但字符级别词向量的L2范数显著更高（IMDB中前1000个词的均值分别为52.77 vs. 6.27），表明门控机制补偿了尺度差异。
• 预训练使词频与门控值之间的相关性降低，表明词和字符表征的初始化更加均衡。
• 自适应门控机制使模型能够学习数据驱动的表征混合方式，减少了对门控值超参数手动调优的需求。