[论文解读] Finding Function in Form: Compositional Character Models for Open Vocabulary Word Representation

Ling Wang, Tiago Luís+6 more|arXiv (Cornell University)|Aug 9, 2015

Topic Modeling参考文献 28被引用 132

一句话总结

本文提出一种基于双向LSTM的字符级组合模型，用于生成无需依赖词典查找表的词表示。通过共享的、参数高效的架构组合字符向量，该模型在语言建模和词性标注任务中达到最先进性能，尤其在形态丰富的语言中表现优异，同时以极少的参数实现对未见词汇的零样本泛化。

ABSTRACT

We introduce a model for constructing vector representations of words by composing characters using bidirectional LSTMs. Relative to traditional word representation models that have independent vectors for each word type, our model requires only a single vector per character type and a fixed set of parameters for the compositional model. Despite the compactness of this model and, more importantly, the arbitrary nature of the form-function relationship in language, our "composed" word representations yield state-of-the-art results in language modeling and part-of-speech tagging. Benefits over traditional baselines are particularly pronounced in morphologically rich languages (e.g., Turkish).

研究动机与目标

• 解决传统词典查找表无法泛化到未见词汇且参数量过大的局限性。
• 利用字符级组合建模语言中复杂且非组合性的形式-功能关系。
• 在词形变化显著的形态丰富语言中实现有效的词表示学习。
• 通过用字符级组合建模替代词级嵌入，减少模型规模并提升泛化能力。
• 证明通过双向LSTM进行字符级组合能够同时捕捉形态规则性和特殊的词汇模式。

提出的方法

• 模型使用双向LSTM处理每个词的字符序列，从字符级嵌入中生成上下文感知的词表示。
• 每种字符类型关联一个可学习向量，LSTM参数共同编码形态和词汇知识。
• 通过将字符序列输入双向LSTM，将最终隐藏状态合并为单一向量表示，生成词表示。
• 模型完全避免使用词典查找表，仅依赖字符向量和一组固定的LSTM参数，实现参数效率。
• 该架构在语言建模和词性标注任务上端到端训练，所有词共享参数。
• 模型即使在拼写上相距较远的词（如 'October' 和 'January'）之间，也能学习到语义和句法上的相似性。

实验结果

研究问题

• RQ1 字符级组合模型是否能在语言建模和词性标注任务中超越传统词典查找表？
• RQ2 基于字符的模型在无显式词级嵌入的情况下，对未见词汇的泛化能力如何？
• RQ3 该模型在土耳其语等形态丰富的语言中捕捉形态规则性的能力有多强？
• RQ4 尽管仅依赖字符序列，模型是否仍能学习到非组合性的形式-功能关系？
• RQ5 由于省略词典查找表，是否能带来更好的参数效率和泛化能力？

主要发现

• 该模型在词性标注任务中达到最先进性能，包括在英语Penn Treebank数据集上创下新纪录。
• 在形态丰富的语言（如土耳其语）中，性能显著优于基线模型，优势明显。
• 模型能为拼写上相距较远的词（如 'October' 和 'January'）生成语义和句法上相似的表示，证明了功能相似性学习能力。
• 尽管参数量仅为传统词典查找表的极小部分，该模型在语言建模和词性标注任务上的表现仍可匹配或超越基线。
• 模型能有效泛化到未见词汇（如 'Frenchification'），通过组合已知的字符成分实现，展现出零样本能力。
• 模型成功捕捉了规则的形态模式和非组合性的词汇形式，对非组合性的形式-功能映射表现出强鲁棒性。