[논문 리뷰] Do LLMs Understand Social Knowledge? Evaluating the Sociability of Large Language Models with SocKET Benchmark

Minje Choi, Jiaxin Pei외 3명|arXiv (Cornell University)|2023. 05. 24.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 사회적 지식의 다섯 가지 범주—유머 및 비꼬임, 모욕성, 감정 및 정서, 신뢰성, 기타 사회적 요인—에 걸쳐 총 58개의 NLP 과제를 포함하는 이론 기반 벤치마크인 SocKET을 소개한다. 이는 대규모 언어 모델(Large Language Models, LLMs)의 사회성 평가를 위해 제작되었다. 벤치마크에서 중간 정도의 성능을 보였음에도 불구하고, 특히 상관관계가 높은 과제들에 대해 훈련된 모델들은 태도 전이 잠재력이 뚜렷하게 드러나, 사회적 인지 능력을 갖춘 LLMs 개선 여지가 크다는 점을 시사한다.

ABSTRACT

Large language models (LLMs) have been shown to perform well at a variety of syntactic, discourse, and reasoning tasks. While LLMs are increasingly deployed in many forms including conversational agents that interact with humans, we lack a grounded benchmark to measure how well LLMs understand extit{social} language. Here, we introduce a new theory-driven benchmark, SocKET, that contains 58 NLP tasks testing social knowledge which we group into five categories: humor & sarcasm, offensiveness, sentiment & emotion, and trustworthiness. In tests on the benchmark, we demonstrate that current models attain only moderate performance but reveal significant potential for task transfer among different types and categories of tasks, which were predicted from theory. Through zero-shot evaluations, we show that pretrained models already possess some innate but limited capabilities of social language understanding and training on one category of tasks can improve zero-shot testing on others. Our benchmark provides a systematic way to analyze model performance on an important dimension of language and points to clear room for improvement to build more socially-aware LLMs. The associated resources are released at https://github.com/minjechoi/SOCKET.

연구 동기 및 목표

• LLMs의 사회적 지식 평가를 위한 종합적이고 이론 기반의 벤치마크 부족 문제를 해결하기 위해.
• 언어학적 및 심리학적 이론에 기반해 사회적 언어 이해 과제를 다섯 가지 범주로 체계적으로 정리하기 위해.
• 제로샷 및 미세조정 평가를 통해 LLMs가 다양한 유형의 사회적 언어 과제 간 일반화 능력을 얼마나 잘 수행하는지 평가하기 위해.
• 특히 다중 과제 학습 환경에서 사회적으로 관련된 NLP 과제 간 전이 가능성 탐구하기 위해.
• 미래의 사회적 인지 기반 NLP 연구를 지원하기 위해 공개된 벤치마크 및 데이터셋 제공하기 위해.

제안 방법

• 유머 및 비꼬임, 모욕성, 감정 및 정서, 신뢰성, 기타 사회적 요인으로 구성된 다섯 가지 범주에 58개 과제를 그룹화한 SocKET 벤치마크 설계.
• 분류, 회귀, 쌍 비교, 스팸 식별의 네 가지 과제 형식을 통합하여 모델의 과제 유형에 대한 유연성 평가.
• 체계적 기능 언어학과 사회인지 이론에 기반한 이론 기반 과제 선정을 통해 개념적 일관성 확보.
• 모델의 내재 능력과 전이 가능성을 평가하기 위해 제로샷 및 미세조정된 LLMs를 모두 벤치마크에 적용.
• 상관관계가 높은 과제 범주에 대해 다중 과제 훈련을 적용하여 성능 향상 여부 및 약한 상관관계가 있는 과제에서의 부정적 전이 가능성 탐색.
• 재현 가능성과 커뮤니티 접근성을 확보하기 위해 GitHub 및 Hugging Face를 통해 벤치마크 및 데이터셋 공개.

Figure 1: A comparison of LLMs on the aggregated scores tested on SocKET under zero-shot settings. The overall performances vary greatly by model architecture, while larger models do not always guarantee better performance.

실험 결과

연구 질문

• RQ1 현재의 LLMs는 다양한 사회적 언어 과제 간 이해 및 일반화 능력을 어느 정도 갖추고 있는가?
• RQ2 미세조정 없이도 사전 훈련된 LLMs가 사회적 언어 이해에서 내재된 제한된 능력을 보일 수 있는가?
• RQ3 특히 과제 간 상관관계가 높을 경우, 사회적 지식의 다양한 범주 간 과제 전이 효과는 얼마나 높은가?
• RQ4 한 사회적 범주에서의 다중 과제 훈련이 관련되지만 서로 다른 과제 범주에서의 성능 향상에 기여하는가?
• RQ5 약한 상관관계가 있는 사회적 과제들에 대해 훈련할 경우 부정적 전이의 위험은 무엇인가?

주요 결과

• 현재 LLMs는 SocKET 벤치마크에서 중간 정도의 성능을 기록하여 사회적 언어 이해 분야에서 향상 여지가 크다는 점을 시사한다.
• 제로샷 평가 결과, 사전 훈련된 모델들이 사회적 지식 이해에 일부 내재된 능력을 보이고 있음을 확인했지만, 그 능력은 제한적이다.
• 모델들은 특히 과제 간 상관관계가 높은 경우에 뚜렷한 과제 전이 잠재력을 보였으며, 이는 지식 전이의 효과성을 시사한다.
• 강하게 상관관계가 있는 과제들에 대해 다중 과제 훈련을 수행할 경우, 후행 과제에서 성능이 유지되거나 향상될 수 있으며, 이는 효과적인 지식 정제 과정임을 시사한다.
• 반대로, 약한 상관관계가 있는 과제들에 대해 훈련할 경우 전체 성능이 떨어질 수 있으며, 이는 다중 과제 학습에서의 부정적 전이 위험을 시사한다.
• 벤치마크는 사회적 지식이 LLMs에 균일하게 포착되지 않으며, 특히 유머, 비꼬임, 모욕성 등 범주 간 성능 격차가 뚜렷하게 나타남을 드러냈다.

Figure 2: Heatmap of task dependency among all task pairs, annotated at category level. Each value represents the absolute strength of correlation between the true labels of the test set of a specific task (columns) and the predictions made on that task using a model trained on a different task (row