[论文解读] Enhancing LLM with Evolutionary Fine Tuning for News Summary Generation

Le Xiao, Xiaolin Chen|arXiv (Cornell University)|Jul 6, 2023

Topic Modeling被引用 7

一句话总结

本文提出了一种新颖的框架——新闻摘要生成器（NSG），通过遗传算法实现的进化微调，整合结构化事件模式，以增强大型语言模型（LLMs）在新闻摘要生成中的表现。该方法通过从种群中选择最优事件模式，提升摘要质量和泛化能力，生成的摘要在准确性和可靠性方面优于基线方法。

ABSTRACT

News summary generation is an important task in the field of intelligence analysis, which can provide accurate and comprehensive information to help people better understand and respond to complex real-world events. However, traditional news summary generation methods face some challenges, which are limited by the model itself and the amount of training data, as well as the influence of text noise, making it difficult to generate reliable information accurately. In this paper, we propose a new paradigm for news summary generation using LLM with powerful natural language understanding and generative capabilities. We use LLM to extract multiple structured event patterns from the events contained in news paragraphs, evolve the event pattern population with genetic algorithm, and select the most adaptive event pattern to input into the LLM to generate news summaries. A News Summary Generator (NSG) is designed to select and evolve the event pattern populations and generate news summaries. The experimental results show that the news summary generator is able to generate accurate and reliable news summaries with some generalization ability.

研究动机与目标

• 解决传统新闻摘要方法在模型容量和文本噪声方面面临的局限性。
• 提升大型语言模型生成新闻摘要的可靠性和全面性。
• 开发一种利用进化计算优化事件模式选择的框架，以提升摘要质量。
• 通过自适应模式演化，增强大型语言模型在多样化新闻事件中的泛化能力。

提出的方法

• NSG框架利用大型语言模型从新闻段落中提取多种结构化事件模式。
• 使用遗传算法演化事件模式种群，适应度由摘要质量决定。
• 应用选择、交叉和变异操作，使种群向更具适应性和信息量的模式演化。
• 选择适应度最高的事件模式，输入至大型语言模型以生成最终的新闻摘要。
• 该系统将大型语言模型的自然语言理解与生成能力，与进化优化相结合，以提升输出质量。
• 该方法设计为对文本噪声具有鲁棒性，并可扩展至多样化新闻内容。

实验结果

研究问题

• RQ1 进化微调能否提升大型语言模型生成新闻摘要的质量和可靠性？
• RQ2 事件模式的进化选择在多样化新闻事件中的摘要泛化能力方面有何影响？
• RQ3 基于遗传算法的模式演化在新闻摘要中，与静态或启发式模式选择相比，能多大程度上实现性能超越？
• RQ4 NSG框架如何处理嘈杂或复杂的现实世界新闻文本？
• RQ5 自适应事件模式选择对摘要连贯性和事实准确性有何影响？

主要发现

• NSG框架生成的新闻摘要在准确性和可靠性方面优于基线方法，在摘要任务中表现出更优性能。
• 该系统在多样化新闻主题中展现出泛化能力，表明对领域变化具有鲁棒性。
• 通过迭代优化，进化微调显著提升了摘要质量，尤其体现在事件模式选择的优化上。
• 遗传算法能有效识别高适应度事件模式，从而生成更连贯且信息丰富的摘要。
• 该方法通过聚焦于结构化、高质量的事件表示，减轻了文本噪声的负面影响。
• 在定性和定量评估中，该框架均优于标准提示工程和微调基线方法。