[논문 리뷰] Exploring the Potential of Large Language Models in Computational Argumentation

Guizhen Chen, Liying Cheng외 2명|arXiv (Cornell University)|2023. 11. 15.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 챗지피티, 플란, 라마2와 같은 대규모 언어 모델(LLM)이 제로샷 및 희소샷 설정에서 계산적 추론 작업, 즉 추론 추출 및 생성에 대해 평가한다. 새로운 종단 간 반론 생성 벤치마크를 도입하고 14개의 데이터셋을 표준화하며, LLM이 높은 BERTScore를 보이며 추론적 의미를 효과적으로 포착함에도 불구하고 중간 수준의 ROUGE 점수를 보이며 강력한 성능을 발휘함을 발견한다.

ABSTRACT

Computational argumentation has become an essential tool in various domains, including law, public policy, and artificial intelligence. It is an emerging research field in natural language processing that attracts increasing attention. Research on computational argumentation mainly involves two types of tasks: argument mining and argument generation. As large language models (LLMs) have demonstrated impressive capabilities in understanding context and generating natural language, it is worthwhile to evaluate the performance of LLMs on diverse computational argumentation tasks. This work aims to embark on an assessment of LLMs, such as ChatGPT, Flan models, and LLaMA2 models, in both zero-shot and few-shot settings. We organize existing tasks into six main categories and standardize the format of fourteen openly available datasets. In addition, we present a new benchmark dataset on counter speech generation that aims to holistically evaluate the end-to-end performance of LLMs on argument mining and argument generation. Extensive experiments show that LLMs exhibit commendable performance across most of the datasets, demonstrating their capabilities in the field of argumentation. Our analysis offers valuable suggestions for evaluating computational argumentation and its integration with LLMs in future research endeavors.

연구 동기 및 목표

• 계산적 추론 작업을 추론 추출 및 추론 생성으로 체계적으로 분류하고, 이를 6개의 클래스로 정리하기.
• 일관성과 재현 가능성을 확보하기 위해 14개의 오픈소스 데이터셋의 형식과 평가 지표를 표준화하기.
• 추론 추출과 생성을 통합하는 종단 간 반론 생성을 위한 새로운 벤치마크 과제를 제안하기.
• 다양한 LLM(예: 챗지피티, 플란, 라마2)이 추론 작업에서 제로샷 및 희소샷 설정에서 성능을 평가하기.
• 현재 평가 관행의 한계를 파악하고 계산적 추론 분야의 향후 연구 방향을 제안하기.

제안 방법

• 기존 계산적 추론 작업을 6개의 클래스로 분류: 추론 추출(주장 탐지, 전제 식별 등) 및 추론 생성(요약, 반론 등).
• 14개의 오픈소스 데이터셋 간 입력-출력 형식과 평가 지표를 표준화하여 일관성과 비교 가능성 확보.
• 논쟁 데이터셋(Lavee et al., 2019)을 활용하여 문서 간 반론 생성 벤치마크를 구축하여, 모델이 지지 발언에 대비된 반론을 생성하도록 유도.
• 자동 평가 지표(ROUGE, BERTScore)와 인간 평가를 사용하여 제로샷 및 희소샷 설정에서 다양한 LLM(오픈소스 및 비공개 소스)의 성능 평가.
• 프롬프트 엔지니어링 기반 접근을 통해 LLM의 추론 추출 및 생성을 유도하며, 희소샷 성능 향상을 위해 구조화된 희소샷 예시 제공.
• 자동 평가 지표(예: ROUGE)와 인간 판단 간 괴리 분석을 통해 LLM의 추론 분야에서의 진정한 생성 능력을 평가.

실험 결과

연구 질문

• RQ1 대규모 언어 모델은 다양한 계산적 추론 작업에서 제로샷 및 희소샷 설정에서 얼마나 잘 수행하는가?
• RQ2 ROUGE 및 BERTScore와 같은 자동 평가 지표는 추론 생성 품질 평가에서 인간 판단과 얼마나 일치하는가?
• RQ3 LLM은 추론의 구조를 이해하고 일관된 반론을 생성하는 종단 간 추론 작업을 효과적으로 수행할 수 있는가?
• RQ4 현재 계산적 추론 분야의 평가 프로토콜에는 어떤 한계가 있으며, 이를 어떻게 개선할 수 있는가?
• RQ5 데이터셋 형식과 평가 지표를 표준화하면 추론 연구 간 재현 가능성과 비교 가능성은 어떻게 향상되는가?

주요 결과

• LLM은 제로샷 및 희소샷 설정 모두에서 대부분의 계산적 추론 작업에서 강력한 성능을 보이며, 특히 추론 추출 및 반론 생성 분야에서 두드러진다.
• ROUGE 점수는 중간 수준이지만 BERTScore는 일관되게 높아, LLM이 어휘적 다양성에도 불구하고 추론의 의미적 의미를 효과적으로 포착하고 있음을 시사한다.
• 인간 평가 결과 LLM이 생성한 반론은 논리적 흐름이 잘 맞고 관련성이 있으며, 체계적으로 구성되어 있어 자동 평가 지표가 모델 능력을 과소 평가할 수 있음을 확인한다.
• 종단 간 반론 생성을 위한 새로운 벤치마크는 추론적 추론의 복잡성을 효과적으로 반영하며 LLM의 종합적 평가를 가능하게 한다.
• 데이터셋 형식과 평가 지표를 표준화함으로써 재현 가능성 향상과 향후 계산적 추론 연구의 촉진이 가능하다.
• 이 연구는 엄격한 자동 평가 지표인 ROUGE가 추론 분야에서 LLM의 진정한 생성 능력을 충분히 반영하지 못할 수 있음을 드러내며, 특히 표면적 일치보다 의미적 충실도를 우선시할 경우 더욱 그렇다.