[论文解读] Intelligible Language Modeling with Input Switched Affine Networks

Jakob Foerster, Justin Gilmer+3 more|arXiv (Cornell University)|Nov 5, 2016

Topic Modeling参考文献 31被引用 8

一句话总结

该论文提出了一种输入切换仿射RNN架构，在无需非线性激活函数的情况下实现了接近当前最先进水平的语言建模范式，通过预计算的仿射变换实现速度与可解释性。该模型支持对隐藏状态动态的完整线性分析，实现跨词边界的上下文传递，并可在任意基下执行，从而在保持标准RNN准确率的同时，实现了前所未有的可理解性。

ABSTRACT

The computational mechanisms by which nonlinear recurrent neural networks (RNNs) achieve their goals remains an open question. There exist many problem domains where intelligibility of the network model is crucial for deployment. Here we introduce a recurrent architecture composed of input-switched affine transformations, in other words an RNN without any nonlinearity and with one set of weights per input. We show that this architecture achieves near identical performance to traditional architectures on language modeling of Wikipedia text, for the same number of model parameters. It can obtain this performance with the potential for computational speedup compared to existing methods, by precomputing the composed affine transformations corresponding to longer input sequences. As our architecture is affine, we are able to understand the mechanisms by which it functions using linear methods. For example, we show how the network linearly combines contributions from the past to make predictions at the current time step. We show how representations for words can be combined in order to understand how context is transferred across word boundaries. Finally, we demonstrate how the system can be executed and analyzed in arbitrary bases to aid understanding.

研究动机与目标

• 开发一种适用于关键部署场景的高可解释性循环语言模型。
• 在消除非线性的同时，实现与非线性RNN相当的性能，以支持解析性理解。
• 实现变换组合的预计算，以期获得计算加速。
• 通过线性代数方法分析隐藏状态动态。
• 通过线性机制展示跨词边界的上下文传递与表征组合。

提出的方法

• 模型采用输入切换仿射变换，其中每个输入符号激活一个独立的线性变换矩阵。
• 隐藏状态通过前一状态与输入特定仿射映射的线性组合进行更新，不使用非线性激活函数。
• 较长的输入序列通过预计算连续仿射变换的复合形式来提高效率。
• 系统支持在任意基下执行与分析，实现可解释的表征分解。
• 应用线性方法研究过去上下文如何线性贡献于当前预测，以及词表征如何组合。
• 该架构的参数量与标准RNN相同，支持直接的性能对比。

实验结果

研究问题

• RQ1 无非线性激活的RNN若采用输入切换仿射层，能否在语言建模任务上达到与标准非线性RNN相当的性能？
• RQ2 在纯线性循环架构中，如何实现跨词边界的上下文传递？
• RQ3 线性代数技术在多大程度上可用于解释循环网络的动态行为？
• RQ4 预计算的仿射变换复合是否能带来推理阶段的计算加速？
• RQ5 在纯线性循环模型中，词之间的表征组合机制如何实现？

主要发现

• 在参数数量相同的情况下，输入切换仿射RNN在Wikipedia语言建模任务上的性能与标准RNN几乎完全一致。
• 通过线性分析，该模型实现了完全可解释性，揭示了过去上下文如何被线性组合以影响当前预测。
• 隐藏状态动态可被理解为来自先前时间步贡献与输入特定变换的线性组合。
• 系统支持在任意基下进行表征分析，有助于深入理解词表征的组合方式。
• 跨词边界的上下文传递被证明是通过隐藏状态中词表征的线性组合实现的。
• 预计算复合仿射变换为实现无性能损失的计算加速提供了切实可行的路径。