[论文解读] Genetic Algorithms For Extractive Summarization

William Chen, Kensal Ramos+2 more|arXiv (Cornell University)|May 5, 2021

Topic Modeling参考文献 11被引用 4

一句话总结

本文提出了一种基于遗传算法（GA）的抽取式文本摘要方法，通过学习最优词权重来识别重要句子，避免了深度学习对数据和计算资源的需求。该GA通过优化词汇表中的词权重来演化句子重要性得分，在极少超参数调优的情况下实现了具有竞争力的ROUGE分数（在训练集上最高达28.6），即使在大规模且含噪的词汇表下也表现出良好的泛化能力。

ABSTRACT

Most current work in NLP utilizes deep learning, which requires a lot of training data and computational power. This paper investigates the strengths of Genetic Algorithms (GAs) for extractive summarization, as we hypothesized that GAs could construct more efficient solutions for the summarization task due to their relative customizability relative to deep learning models. This is done by building a vocabulary set, the words of which are represented as an array of weights, and optimizing those set of weights with the GA. These weights can be used to build an overall weighting of a sentence, which can then be passed to some threshold for extraction. Our results showed that the GA was able to learn a weight representation that could filter out excessive vocabulary and thus dictate sentence importance based on common English words.

研究动机与目标

• 探索遗传算法作为深度学习在抽取式文本摘要中的一种轻量级、可定制的替代方案。
• 研究GA是否能在不依赖句子级启发式规则的情况下，学习到可泛化的句子重要性特征。
• 评估训练集大小和词汇表大小对基于GA的摘要性能的影响，使用ROUGE指标进行评估。
• 确定GA是否能有效过滤大规模词汇表中的噪声，并收敛到有意义的词权重表示。
• 评估GA在低功耗、高效摘要系统中的可行性。

提出的方法

• 该方法将词汇表中的每个词表示为一个基因，其权重在0到1之间，每个GA种群中的个体由此构成一条染色体。
• 句子重要性通过句子中所有词权重的平均值计算，未知词默认权重为0。
• 应用固定阈值（0.6）筛选平均权重超过该值的句子，构成最终摘要。
• GA使用标准操作：选择、交叉和变异（通过将权重设为0实现基因删除），在多代中优化适应度。
• 适应度通过在训练集和测试集上与参考摘要对比的ROUGE-1 F1分数进行评估。
• 词汇表从训练数据构建，实验中调整了训练集大小（50, 100）和词汇表大小（50, 1,000, 90,000）。

实验结果

研究问题

• RQ1 遗传算法能否学习到有意义的词权重，从而有效识别抽取式摘要中的重要句子？
• RQ2 训练集大小和词汇表大小如何影响基于GA的摘要模型性能？
• RQ3 当词汇表大小超过训练数据量时，GA在不同数据分布上是否具有良好的泛化能力？
• RQ4 GA能否有效过滤大规模词汇表中的无关或噪声词，聚焦于语义重要的术语？
• RQ5 与先前工作相比，GA在多大程度上减少了对人工设计的句子级启发式规则的依赖？

主要发现

• 表现最佳的模型在使用100个样本和90,000个词的完整词汇表进行训练时，于训练集上达到了28.6的ROUGE-1分数。
• 在仅50个样本上训练、且词汇表由这50个样本构建的模型，在测试集上取得了26.26的ROUGE分数，优于在100个样本上训练但使用更大词汇表的模型。
• GA收敛迅速，即使在种群规模为100、词汇表规模达325,000个词符的情况下，也在35代内达到局部最优。
• 尽管解空间庞大，GA仍能有效过滤噪声，并学会优先关注常见且具有高影响力的英语词汇用于摘要。
• 随着词汇表规模增大，ROUGE分数的提升微乎其微，表明GA能根据词汇规模自动聚焦于最显著的词。
• 在100个样本和90,000词词汇表上训练的模型，在测试集上取得了23.59的ROUGE分数，表明其在有限数据下具有强大的泛化能力。