[论文解读] Hooks in the Headline: Learning to Generate Headlines with Controlled Styles

Di Jin, Zhijing Jin+3 more|arXiv (Cornell University)|Apr 4, 2020

Topic Modeling参考文献 52被引用 7

一句话总结

本文提出风格化标题生成（SHG）这一新任务，旨在通过多任务框架TitleStylist，生成具有受控风格（幽默、浪漫、点击诱饵）的吸引眼球的标题。TitleStylist结合了摘要生成与去噪自编码技术，采用风格特定的层归一化和注意力机制，生成流畅、相关且极具吸引力的标题，在读者吸引力方面超越了最先进的摘要模型和人工撰写参考标题，吸引力得分高出9.68%。

ABSTRACT

Current summarization systems only produce plain, factual headlines, but do not meet the practical needs of creating memorable titles to increase exposure. We propose a new task, Stylistic Headline Generation (SHG), to enrich the headlines with three style options (humor, romance and clickbait), in order to attract more readers. With no style-specific article-headline pair (only a standard headline summarization dataset and mono-style corpora), our method TitleStylist generates style-specific headlines by combining the summarization and reconstruction tasks into a multitasking framework. We also introduced a novel parameter sharing scheme to further disentangle the style from the text. Through both automatic and human evaluation, we demonstrate that TitleStylist can generate relevant, fluent headlines with three target styles: humor, romance, and clickbait. The attraction score of our model generated headlines surpasses that of the state-of-the-art summarization model by 9.68%, and even outperforms human-written references.

研究动机与目标

• 为解决现有标题生成系统仅生成平淡、事实性标题，缺乏记忆点和读者参与度的问题。
• 提出一项新任务——风格化标题生成（SHG），明确控制标题中的语言风格，以增强读者吸引力。
• 开发一种方法，无需配对的风格特定文章-标题数据，即可生成风格化标题。
• 在多任务学习框架中，通过新颖的参数共享机制，实现标题生成中内容与风格的解耦。
• 证明模型生成的标题在吸引力方面可超越人工撰写参考标题，同时保持事实相关性。

提出的方法

• TitleStylist采用多任务学习框架，结合单风格语料上的摘要生成与去噪自编码（DAE）任务。
• 模型使用风格依赖的层归一化和风格引导的编码器-注意力机制，实现语言风格与内容表征的解耦。
• 通过参数共享机制，为每种风格专门优化关键组件（层归一化与注意力），同时共享其他参数，以提升效率与泛化能力。
• 框架在标准文章-标题数据集上进行摘要训练，在独立的风格特定语料库（幽默、浪漫、点击诱饵）上进行重建训练。
• 模型通过端到端微调，生成既事实相关又与目标风格一致的标题。
• 通过扩展框架，同时在三种风格上进行训练，使用共享的内容编码器和专用的风格头，实现多风格标题生成。

实验结果

研究问题

• RQ1 在无风格特定文章-标题配对数据的情况下，标题生成模型能否生成流畅、相关且风格一致的标题？
• RQ2 结合摘要与去噪自编码的多任务框架，在提升风格控制与事实相关性方面效果如何？
• RQ3 风格特定的层归一化与注意力机制在多大程度上能实现标题生成中风格与内容的解耦？
• RQ4 单个模型能否生成多种风格的标题变体，使其在读者吸引力方面与人工撰写样本具有竞争力？
• RQ5 在多样化风格语料上进行无监督重建，是否能提升有监督摘要模型的性能？

主要发现

• TitleStylist生成的目标风格（幽默、浪漫、点击诱饵）标题，其吸引力显著高于SOTA摘要模型，吸引力得分高出9.68%。
• 人工评估显示，TitleStylist的标题在57.4%（幽默）、53.7%（浪漫）和52.9%（点击诱饵）的对比中优于人工撰写参考，表明其读者吸引力更优。
• 多风格版本TitleStylist-Versatile在ROUGE-L（25.8）和BLEU（14.5）得分上与单风格模型相当，同时可一次性生成三种风格的标题。
• 尽管引入了风格模式，模型仍保持较强的摘要性能，相关性得分接近基线NHG模型。
• 多任务基线模型优于标准NHG模型，证明无监督重建即使在无风格配对数据的情况下，也能提升摘要性能。
• 生成标题的困惑度（PPL）与测试集相当（PPL = 42.5），证实所有模型与风格下生成结果均保持流畅。