[论文解读] HydraSum: Disentangling Stylistic Features in Text Summarization using Multi-Decoder Models

Tanya Goyal, Nazneen Fatema Rajani+2 more|arXiv (Cornell University)|Oct 8, 2021

Topic Modeling被引用 5

一句话总结

HydraSum 提出了一种多解码器 Transformer 架构，在标准训练过程中将风格特征（如抽象性、具体性、长度）解耦为独立的解码器，通过从单个或混合解码器采样实现多样化的摘要生成。与基线模型（如 Bart）相比，该方法在风格多样性方面表现更优，并在人工评估中得分更高。

ABSTRACT

Summarization systems make numerous "decisions" about summary properties during inference, e.g. degree of copying, specificity and length of outputs, etc. However, these are implicitly encoded within model parameters and specific styles cannot be enforced. To address this, we introduce HydraSum, a new summarization architecture that extends the single decoder framework of current models to a mixture-of-experts version with multiple decoders. We show that HydraSum's multiple decoders automatically learn contrasting summary styles when trained under the standard training objective without any extra supervision. Through experiments on three summarization datasets (CNN, Newsroom and XSum), we show that HydraSum provides a simple mechanism to obtain stylistically-diverse summaries by sampling from either individual decoders or their mixtures, outperforming baseline models. Finally, we demonstrate that a small modification to the gating strategy during training can enforce an even stricter style partitioning, e.g. high- vs low-abstractiveness or high- vs low-specificity, allowing users to sample from a larger area in the generation space and vary summary styles along multiple dimensions.

研究动机与目标

• 解决现有抽象摘要模型中用户对摘要风格控制不足的问题。
• 探究摘要中的风格差异（如抽象性、具体性）是否在标准训练数据中自然出现。
• 开发一种显式将这些风格分离为独立解码器的模型架构，以实现灵活推理。
• 评估是否可通过训练期间修改门控策略实现风格的可控划分。
• 展示相较于基线模型，其在风格多样性和人工评分质量上的改进。

提出的方法

• 通过使用 k > 1 个解码器的专家混合（MoE）设置，将标准编码器-解码器 Transformer 架构中的单个解码器替换为多解码器结构。
• 使用共享编码器对输入文档进行编码，每个解码器基于编码表示独立生成摘要标记。
• 在每个解码步骤中，利用可学习的门控机制组合所有解码器的输出概率分布，生成最终的标记分布。
• 在标准自回归语言建模范式下进行训练，无需额外监督或风格标注。
• 通过从单个解码器或其加权混合中采样，实现推理阶段生成具有不同风格特征的摘要。
• 在训练期间应用修改后的门控策略，显式强化在特定风格维度（如高 vs. 低抽象性）上的更严格划分。

实验结果

研究问题

• RQ1 在无显式风格监督的情况下，多解码器 Transformer 架构中的多个解码器是否能自动学习到不同的摘要风格？
• RQ2 与标准模型相比，从单个或混合解码器中采样在多大程度上能提升风格多样性和摘要质量？
• RQ3 在训练期间对门控机制进行简单修改，是否能实现沿特定维度（如抽象性或具体性）更清晰的风格划分？
• RQ4 HydraSum 生成的摘要在人工标注评分（相关性、连贯性、语法正确性、事实一致性）方面与基线模型相比如何？
• RQ5 该模型生成风格多样化摘要的能力是否在不同摘要数据集（Cnn、Newsroom、XSum）和风格维度上具有泛化能力？

主要发现

• HydraSum 的多个解码器在标准训练过程中无需任何显式监督，即可自动学习到对比鲜明的风格，如高 vs. 低抽象性、高 vs. 低具体性。
• 从单个解码器或其组合中采样，生成的摘要在风格多样性方面显著优于基线模型中使用的束搜索或 top-k 解码方法。
• 人工评估显示，HydraSum 模型生成的摘要在所有指标上均优于基线 Bart 模型：在 Cnn 数据集上，相关性（4.4 vs. 4.3）、连贯性（4.4 vs. 4.3）、语法正确性（4.3 vs. 4.2）和事实一致性（0.89 vs. 0.83）均表现更优。
• 训练期间采用的修改后门控策略实现了更严格的风格划分，使用户能够沿多个维度在更广范围内采样生成空间。
• 在 XSum 数据集上，HydraSum 的 D0 和 D1 解码器分别实现了 0.89 和 0.87 的事实一致性得分，优于基线 Bart 模型的 0.85。
• 该模型在三个数据集（Cnn、Newsroom、XSum）上均保持了强劲性能，证明了解耦机制的鲁棒性与泛化能力。