[论文解读] Do LLMs Understand Social Knowledge? Evaluating the Sociability of Large Language Models with SocKET Benchmark

Minje Choi, Jiaxin Pei+3 more|arXiv (Cornell University)|May 24, 2023

Topic Modeling被引用 4

一句话总结

本文提出了SocKET，一个基于理论的基准测试，涵盖五个社会知识类别（幽默与反讽、冒犯性、情感与情绪、可信度及其他社会因素）共58项NLP任务，用于评估大语言模型（LLMs）的社会性。尽管在该基准上的表现仅属中等水平，但模型在跨任务迁移方面展现出显著潜力，尤其是在训练任务具有强相关性时，凸显了在构建具备社会意识的LLMs方面仍有改进空间。

ABSTRACT

Large language models (LLMs) have been shown to perform well at a variety of syntactic, discourse, and reasoning tasks. While LLMs are increasingly deployed in many forms including conversational agents that interact with humans, we lack a grounded benchmark to measure how well LLMs understand extit{social} language. Here, we introduce a new theory-driven benchmark, SocKET, that contains 58 NLP tasks testing social knowledge which we group into five categories: humor & sarcasm, offensiveness, sentiment & emotion, and trustworthiness. In tests on the benchmark, we demonstrate that current models attain only moderate performance but reveal significant potential for task transfer among different types and categories of tasks, which were predicted from theory. Through zero-shot evaluations, we show that pretrained models already possess some innate but limited capabilities of social language understanding and training on one category of tasks can improve zero-shot testing on others. Our benchmark provides a systematic way to analyze model performance on an important dimension of language and points to clear room for improvement to build more socially-aware LLMs. The associated resources are released at https://github.com/minjechoi/SOCKET.

研究动机与目标

• 为评估LLMs中的社会知识，解决缺乏全面且基于理论的基准这一问题。
• 基于语言学与心理学理论，系统性地将社会语言理解任务划分为五个类别。
• 通过零样本与微调评估，衡量LLMs在不同类型社会语言任务之间泛化的能力。
• 探究在多任务学习设置下，社会相关NLP任务之间任务迁移的潜力。
• 公开发布基准与数据集，以支持未来在具备社会意识的NLP研究。

提出的方法

• 设计SocKET作为基准，包含58项任务，分为五个类别：幽默与反讽、冒犯性、情感与情绪、可信度及其他社会因素。
• 采用四种任务格式——分类、回归、成对比较与片段识别，以评估模型在不同类型任务中的适应能力。
• 基于系统功能语言学与社会认知理论进行任务选择，确保概念一致性。
• 在基准上评估零样本与微调后的LLMs，以评估其内在能力与迁移潜力。
• 在相关任务类别上进行多任务训练，以检验性能提升及在弱相关任务上的潜在负面迁移。
• 通过GitHub与Hugging Face发布基准与数据集，以确保可复现性与社区可访问性。

Figure 1: A comparison of LLMs on the aggregated scores tested on SocKET under zero-shot settings. The overall performances vary greatly by model architecture, while larger models do not always guarantee better performance.

实验结果

研究问题

• RQ1 当前LLMs在多样化社会语言任务上的理解与泛化能力究竟有多强？
• RQ2 预训练LLMs是否在未微调的情况下展现出内在但有限的社会语言理解能力？
• RQ3 在不同社会知识类别之间，任务迁移的效率如何，尤其是在任务具有相关性时？
• RQ4 在一个社会类别上进行多任务训练，是否能提升在无关但社会相关的其他类别上的表现？
• RQ5 在弱相关社会任务上进行训练时，是否存在负面迁移的风险？

主要发现

• 当前LLMs在SocKET基准上的表现仅为中等水平，表明在社会语言理解方面仍有显著改进空间。
• 零样本评估显示，预训练模型已具备一定内在但有限的社会知识理解能力。
• 模型展现出显著的任务迁移潜力，尤其在跨类别任务具有强相关性时表现突出。
• 在强相关任务上进行多任务训练，可维持甚至提升下游任务的性能，表明知识蒸馏效果良好。
• 相反，在弱相关任务上进行训练可能导致整体性能下降，表明多任务学习中存在负面迁移风险。
• 该基准揭示，LLMs并未均匀捕捉社会知识，其在幽默、反讽与冒犯性等类别上的表现差异显著。

Figure 2: Heatmap of task dependency among all task pairs, annotated at category level. Each value represents the absolute strength of correlation between the true labels of the test set of a specific task (columns) and the predictions made on that task using a model trained on a different task (row