[论文解读] Exploring the Potential of Large Language Models in Computational Argumentation

Guizhen Chen, Liying Cheng+2 more|arXiv (Cornell University)|Nov 15, 2023

Topic Modeling被引用 4

一句话总结

本文在零样本和少样本设置下评估了大型语言模型（LLMs），如ChatGPT、Flan和LLaMA2，在计算论辩任务（包括论辩挖掘和生成）中的表现。研究引入了一个新的端到端反论生成基准，统一了14个数据集，并发现LLMs在捕捉论辩语义方面表现优异（BERTScore高），尽管ROUGE得分中等。

ABSTRACT

Computational argumentation has become an essential tool in various domains, including law, public policy, and artificial intelligence. It is an emerging research field in natural language processing that attracts increasing attention. Research on computational argumentation mainly involves two types of tasks: argument mining and argument generation. As large language models (LLMs) have demonstrated impressive capabilities in understanding context and generating natural language, it is worthwhile to evaluate the performance of LLMs on diverse computational argumentation tasks. This work aims to embark on an assessment of LLMs, such as ChatGPT, Flan models, and LLaMA2 models, in both zero-shot and few-shot settings. We organize existing tasks into six main categories and standardize the format of fourteen openly available datasets. In addition, we present a new benchmark dataset on counter speech generation that aims to holistically evaluate the end-to-end performance of LLMs on argument mining and argument generation. Extensive experiments show that LLMs exhibit commendable performance across most of the datasets, demonstrating their capabilities in the field of argumentation. Our analysis offers valuable suggestions for evaluating computational argumentation and its integration with LLMs in future research endeavors.

研究动机与目标

• 将计算论辩任务系统性地划分为论辩挖掘和论辩生成两类，并进一步细分为6个子类。
• 统一14个开源数据集的格式和评估指标，以确保一致性和可复现性。
• 提出一个新的端到端反论生成基准任务，整合论辩挖掘与生成。
• 评估多种LLMs（如ChatGPT、Flan、LLaMA2）在论辩任务中的零样本和少样本性能。
• 识别当前评估实践的局限性，并提出计算论辩未来研究的方向。

提出的方法

• 将现有的计算论辩任务划分为6种类别：论辩挖掘（如主张检测、前提识别等）和论辩生成（如摘要、反论等）。
• 统一14个开源数据集的输入-输出格式和评估指标，以确保一致性与可比性。
• 基于辩论数据集（Lavee et al., 2019）构建一个新的文档到文档的反论生成基准，要求模型针对支持性演讲生成反论。
• 使用自动指标（ROUGE、BERTScore）和人工评估，在零样本和少样本设置下评估多种LLMs（开源与闭源）的性能。
• 采用提示工程方法引导LLMs完成论辩挖掘与生成任务，通过结构化的少样本示范提升少样本性能。
• 分析自动指标（如ROUGE）与人工判断之间的差异，以评估LLMs在论辩生成任务中真实生成能力。

实验结果

研究问题

• RQ1 大型语言模型在零样本和少样本设置下，对多样化计算论辩任务的性能如何？
• RQ2 自动指标（如ROUGE和BERTScore）在评估论辩生成质量时，与人工判断的契合度如何？
• RQ3 LLMs能否有效完成需要理解论辩结构并生成连贯反论的端到端论辩任务？
• RQ4 当前计算论辩评估协议存在哪些局限性？如何改进？
• RQ5 标准化数据集格式和评估指标在多大程度上提升了论辩研究的可复现性与可比性？

主要发现

• LLMs在大多数计算论辩任务中表现强劲，尤其在论辩挖掘和反论生成任务中，无论在零样本还是少样本设置下均表现优异。
• 尽管ROUGE得分中等，但BERTScore始终较高，表明LLMs能有效捕捉论辩的语义含义，即使存在词汇差异。
• 人工评估确认LLM生成的反论具有连贯性、相关性与结构合理性，表明自动指标可能低估了模型的真实能力。
• 新的端到端反论生成基准成功捕捉了论辩推理的复杂性，并实现了对LLMs的综合性评估。
• 标准化数据集格式与评估指标显著提升了可复现性，并为未来计算论辩研究提供了支持。
• 本研究发现，严格的自动指标（如ROUGE）可能无法完全反映LLMs在论辩任务中真实的生成质量，尤其是在语义保真度优先于表面重叠的情况下。