[论文解读] A Fixed-Size Encoding Method for Variable-Length Sequences with its Application to Neural Network Language Models

Shiliang Zhang, Hui Jiang+3 more|arXiv (Cornell University)|May 6, 2015

Topic Modeling参考文献 16被引用 13

一句话总结

本文提出了一种新型方法——固定大小有序遗忘编码（FOFE），通过使用衰减因子 α 的递归位置相关遗忘机制，将可变长度序列编码为固定大小的向量。FOFE 使前馈神经网络语言模型（FNN-LMs）能够在不使用循环结构的情况下捕捉长期依赖关系，在 Penn Treebank 和大型文本压缩基准测试中达到最先进性能，甚至优于基于 LSTM 的 RNN-LMs。

ABSTRACT

In this paper, we propose the new fixed-size ordinally-forgetting encoding (FOFE) method, which can almost uniquely encode any variable-length sequence of words into a fixed-size representation. FOFE can model the word order in a sequence using a simple ordinally-forgetting mechanism according to the positions of words. In this work, we have applied FOFE to feedforward neural network language models (FNN-LMs). Experimental results have shown that without using any recurrent feedbacks, FOFE based FNN-LMs can significantly outperform not only the standard fixed-input FNN-LMs but also the popular RNN-LMs.

研究动机与目标

• 解决标准 FNN-LMs 由于固定大小上下文窗口而难以建模长期依赖关系的局限性。
• 开发一种上下文相关、固定大小的编码方法，以在可变长度序列中保留词序和序列历史。
• 使前馈神经网络在语言建模中实现与循环网络相当或更优的性能，而无需使用循环反馈或 BPTT。
• 提供一种理论坚实、高效且独特的离散序列编码机制，采用遗忘因子。

提出的方法

• FOFE 使用递归公式对序列中的每个词进行编码：$\mathbf{z}_t = \alpha \cdot \mathbf{z}_{t-1} + \mathbf{e}_t$，其中 $\mathbf{e}_t$ 是第 t 个词的 1-of-K 嵌入向量，$\alpha \in (0,1)$ 为遗忘因子。
• 生成的 FOFE 编码 $\mathbf{z}_t$ 是一个固定大小的向量，累积历史词信息，并根据词的位置呈指数衰减影响。
• 当 $\alpha \in (0.5, 1)$ 时，除有限个特殊 $\alpha$ 值外，任何序列长度 $T$ 的编码几乎都是唯一的。
• 通过将固定的上下文窗口替换为 FOFE 编码的历史向量，将 FOFE 集成到 FNN-LMs 中作为网络输入。
• 使用标准反向传播进行训练，无需 BPTT，从而实现高效的 GPU 训练。
• 理论分析表明，仅在可数个有限的 $\alpha$ 值下才会出现解码歧义，确保了实际应用中的唯一性。

实验结果

研究问题

• RQ1 是否存在一种固定大小的编码方法，能够在不使用循环结构的情况下，保留可变长度序列中的词序和长期上下文？
• RQ2 基于 FOFE 的 FNN-LMs 是否能在语言建模中超越使用固定上下文窗口的标准 FNN-LMs？
• RQ3 基于 FOFE 的 FNN-LMs 是否能在不使用循环反馈的情况下，实现与 RNN-LMs（包括 LSTM 变体）相当或更优的性能？
• RQ4 对于遗忘因子 $\alpha$ 的典型取值，FOFE 编码是否几乎唯一？
• RQ5 在 FOFE-FNN-LM 训练中，由于不使用 BPTT，是否能实现比 RNN-LMs 更快且更稳定的训练？

主要发现

• 在 Penn Treebank 语料上，二阶 FOFE-FNNLM 的测试困惑度为 108，优于最佳标准 FNN-LM（113）和 RNN-LM（112）。
• 在大型文本压缩基准测试（LTCB）上，二阶 FOFE-FNNLM 的测试困惑度为 107，超过最佳基线 FNN-LM（112）和 RNN-LM（112）。
• 采用 [2*200]-600-600-80k 架构的 FOFE-FNN-LM 在 LTCB 上达到困惑度 107，表现出优于更大规模 FNN-LMs 和 RNN-LMs 的性能。
• 理论分析证实，当 $\alpha \in (0.5, 1)$ 时，FOFE 提供几乎唯一的编码，歧义仅出现在有限个可数的 $\alpha$ 值上。
• FOFE-FNN-LM 的训练在 GPU 上高度高效，避免了 RNN 中使用的 BPTT 所带来的计算复杂性。
• 该方法使 FNN-LMs 尽管缺乏循环反馈，仍能有效建模长期依赖关系，挑战了‘循环结构是建模长期依赖所必需’的假设。