[论文解读] Language modeling via stochastic processes

Rose E Wang, Esin Durmus+2 more|arXiv (Cornell University)|Mar 21, 2022

Topic Modeling被引用 9

一句话总结

本文提出时间控制（Time Control, TC），一种新颖的对比学习框架，将文本生成建模为潜在空间中的布朗桥过程，以提升长文本的连贯性。通过学习连接起始点与终点的潜在轨迹，TC 使 GPT-2 能够生成结构更一致、更连贯的长文本，在长文本生成任务中，其话语连贯性和长度一致性相比基线方法最高提升 90%。

ABSTRACT

Modern language models can generate high-quality short texts. However, they often meander or are incoherent when generating longer texts. These issues arise from the next-token-only language modeling objective. Recent work in self-supervised learning suggests that models can learn good latent representations via contrastive learning, which can be effective for discriminative tasks. Our work analyzes the application of contrastive representations for generative tasks, like long text generation. We propose one approach for leveraging constrastive representations, which we call Time Control (TC). TC first learns a contrastive representation of the target text domain, then generates text by decoding from these representations. Compared to domain-specific methods and fine-tuning GPT2 across a variety of text domains, TC performs competitively to methods specific for learning sentence representations on discourse coherence. On long text generation settings, TC preserves the text structure both in terms of ordering (up to $+15\%$ better) and text length consistency (up to $+90\%$ better).

研究动机与目标

• 解决自回归语言模型在长文本生成中因缺乏全局规划与文本结构建模而导致的不连贯问题。
• 探究通过随机过程学习的对比表征是否能提升生成文本质量，特别是在长文本生成中的表现。
• 开发一种通过可学习的潜在过程显式建模文本时间动态的方法，避免依赖领域特定启发式规则。
• 证明基于学习的潜在轨迹进行条件生成，相比标准自回归解码，能显著提升话语连贯性和结构一致性。
• 验证对比学习结合布朗桥动力学在多样化文本领域中生成建模的有效性。

提出的方法

• 基于布朗桥随机过程构建对比学习目标，以建模从起点到终点演化的潜在轨迹。
• 学习一个潜在空间，使得连贯文档遵循平滑、时间相关的轨迹，而不连贯或打乱的文档则产生噪声大、无结构的路径。
• 将文本生成分解为两个阶段：首先，从布朗桥过程中采样一系列潜在嵌入；其次，基于这些潜在状态，对 GPT-2 进行条件生成以生成句子。
• 使用对比损失，促使相近的句子表征彼此接近，而相距较远的表征则彼此远离，同时受固定起点和终点嵌入的动态约束。
• 微调 GPT-2 以基于潜在序列生成文本，实现目标导向、结构一致的生成。
• 消融关键组件：对比目标、布朗桥动力学、潜在动态的显式建模，以及基于潜在计划的解码。

实验结果

研究问题

• RQ1 通过随机过程学习的对比表征是否能提升长文本生成的连贯性？
• RQ2 在潜在空间中将文本建模为布朗桥，是否相比标准自回归建模能带来更好的结构与话语连贯性？
• RQ3 与布朗运动或 VAE 等更简单的过程相比，通过布朗桥显式建模潜在动态，在捕捉文本演化方面表现如何？
• RQ4 与直接自回归生成相比，基于学习的潜在计划进行解码在多大程度上提升了文本质量？
• RQ5 该方法在哪些文本领域中表现出显著优势？为何在某些领域（如食谱领域）可能表现不佳？

主要发现

• 在长文本生成中，Time Control 相比基线方法，文本长度一致性最高提升 90%，表明对输出长度具有更强的控制能力。
• Time Control 在排序一致性方面相比基线最高提升 15%，表明其在保持文本结构与序列完整性方面表现更优。
• Time Control 学习到的潜在轨迹在连贯文档上展现出清晰的时间相关结构，而打乱文档则产生噪声大、无演化的轨迹。
• 在食谱领域，VAE 基线表现优于 Time Control，表明仅依赖时间结构可能不足以覆盖所有领域，其他因素（如章节级统计特征）可能同样关键。
• 消融研究证实，对比目标与布朗桥动力学的显式建模对性能至关重要，非目标导向的解码表现更差。
• 该方法在多个领域均实现了具有竞争力的话语连贯性，优于或匹配特定任务的方法，且无需引入领域特定启发式规则。