[论文解读] Language Through a Prism: A Spectral Approach for Multiscale Language Representations

Alex Tamkin, Dan Jurafsky+1 more|arXiv (Cornell University)|Nov 9, 2020

Topic Modeling参考文献 72被引用 22

一句话总结

本文提出一种基于离散余弦变换（DCT）的谱方法，用于解耦深度语言表征中的多尺度语言结构。通过在输入序列的神经元激活上应用谱滤波，该方法可分离出不同尺度的信息——如词级、话语级或文档级——从而在针对特定尺度的任务上实现性能提升。其核心贡献是棱镜层（prism layer），该层通过训练神经元专注于特定尺度，增强了长距离上下文建模能力，并在多尺度自然语言处理任务中超越了 BERT 的表现。

ABSTRACT

Language exhibits structure at different scales, ranging from subwords to words, sentences, paragraphs, and documents. To what extent do deep models capture information at these scales, and can we force them to better capture structure across this hierarchy? We approach this question by focusing on individual neurons, analyzing the behavior of their activations at different timescales. We show that signal processing provides a natural framework for separating structure across scales, enabling us to 1) disentangle scale-specific information in existing embeddings and 2) train models to learn more about particular scales. Concretely, we apply spectral filters to the activations of a neuron across an input, producing filtered embeddings that perform well on part of speech tagging (word-level), dialog speech acts classification (utterance-level), or topic classification (document-level), while performing poorly on the other tasks. We also present a prism layer for training models, which uses spectral filters to constrain different neurons to model structure at different scales. Our proposed BERT + Prism model can better predict masked tokens using long-range context and produces multiscale representations that perform better at utterance- and document-level tasks. Our methods are general and readily applicable to other domains besides language, such as images, audio, and video.

研究动机与目标

• 理解像 BERT 这类深度语言模型如何在从子词到文档的多个尺度上表征语言结构。
• 开发一种通用框架，用于在不依赖预定义语言结构的前提下，从神经网络激活中分离并控制不同时间尺度的信息。
• 通过训练神经元专注于捕捉特定尺度的结构，提升模型在特定尺度 NLP 任务上的性能。
• 通过约束表征以保留更广泛的时间尺度信息，增强长距离上下文建模能力。
• 将谱分析技术从信号处理领域扩展到自然语言处理，实现对多尺度表征的可解释性与可控性。

提出的方法

• 对每个神经元在输入词元序列上的激活序列应用离散余弦变换（DCT），将其转换到频域表示。
• 使用谱滤波（低通、带通、高通）选择性地去除或保留对应于神经元激活中特定时间尺度的分量。
• 通过滤波激活以突出快速（词级）或缓慢（文档级）变化，构建解耦的尺度表征。
• 引入棱镜层——一种可学习模块，在训练过程中对不同神经元应用不同的谱滤波，强制其专注于特定尺度。
• 训练一个带有棱镜层的 BERT 模型，生成对长距离依赖更敏感的多尺度表征。
• 采用 DCT 系数衰减策略抑制无关的频率分量，从而隔离目标尺度的结构。

实验结果

研究问题

• RQ1 预训练语言模型（如 BERT）在多大程度上编码了从子词到文档的多尺度语言结构？
• RQ2 谱滤波是否可用于在不改变网络架构的前提下，从现有神经表征中解耦出特定尺度的信息？
• RQ3 我们能否通过谱约束训练模型，使其专注于捕捉特定尺度的结构？
• RQ4 棱镜层是否能提升在需要长距离上下文或多尺度理解的任务上的性能？
• RQ5 谱滤波如何影响模型在掩码语言建模任务中对长距离依赖的敏感性？

主要发现

• 谱滤波成功隔离了特定尺度的信息：低通滤波表征在文档级主题分类任务上表现最佳，带通滤波在话语级对话行为分类任务上表现最佳，高通滤波在词级词性标注任务上表现最佳。
• BERT + Prism 模型在所有三项任务（词性标注、对话行为分类、主题分类）上的表现与标准 BERT 相当或更优，证明了其在多尺度表征学习方面的改进。
• 棱镜层增强了模型对长距离上下文的敏感性，体现在需要长跨度上下文推理的掩码语言建模任务中性能提升。
• 使用谱滤波训练的滤波表征在目标任务上表现优异，但在其他任务上性能下降，证实了成功的尺度解耦。
• 该方法具有可泛化性：不仅适用于自然语言处理，还可推广至任何在时间或空间轴上具有结构化表征的模型，如视觉、语音或时间序列模型。
• 谱分析提供了一套原则化且可解释的框架，用于探测和控制深度模型在不同尺度上编码信息的方式。