[論文レビュー] Exploring the Potential of Large Language Models in Computational Argumentation

Guizhen Chen, Liying Cheng+2 more|arXiv (Cornell University)|Nov 15, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿は、チャットGPT、フラン、LLaMA2などの大規模言語モデル（LLM）を、ゼロショットおよびフェイントショット設定下での計算的議論タスク（議論のマイニングおよび生成を含む）で評価する。新しいエンドツーエンドの反論スピーチ生成ベンチマークを導入し、14のデータセットを標準化し、LLMが特に高いBERTScoreを示すことで議論的意味を的確に捉えていることから、強力な性能を示していることが判明したが、ROUGEスコアはやや低い。

ABSTRACT

Computational argumentation has become an essential tool in various domains, including law, public policy, and artificial intelligence. It is an emerging research field in natural language processing that attracts increasing attention. Research on computational argumentation mainly involves two types of tasks: argument mining and argument generation. As large language models (LLMs) have demonstrated impressive capabilities in understanding context and generating natural language, it is worthwhile to evaluate the performance of LLMs on diverse computational argumentation tasks. This work aims to embark on an assessment of LLMs, such as ChatGPT, Flan models, and LLaMA2 models, in both zero-shot and few-shot settings. We organize existing tasks into six main categories and standardize the format of fourteen openly available datasets. In addition, we present a new benchmark dataset on counter speech generation that aims to holistically evaluate the end-to-end performance of LLMs on argument mining and argument generation. Extensive experiments show that LLMs exhibit commendable performance across most of the datasets, demonstrating their capabilities in the field of argumentation. Our analysis offers valuable suggestions for evaluating computational argumentation and its integration with LLMs in future research endeavors.

研究の動機と目的

• 計算的議論タスクを議論のマイニングと議論の生成に体系的に分類し、6つのクラスに整理すること。
• 一貫性と再現可能性を確保するため、14のオープンソースデータセットのフォーマットと評価指標を標準化すること。
• 議論のマイニングと生成を統合するエンドツーエンドの反論スピーチ生成ベンチマークタスクを提案すること。
• さまざまなLLM（例：ChatGPT、Flan、LLaMA2）の議論タスクにおけるゼロショットおよびフェイントショット性能を評価すること。
• 現在の評価手法の限界を特定し、計算的議論分野における今後の研究方向を提案すること。

提案手法

• 既存の計算的議論タスクを6つのクラスに分類する：議論のマイニング（主張検出、前提特定など）および議論の生成（要約、反論など）。
• 14のオープンデータセット間で入力出力フォーマットと評価指標を標準化し、一貫性と比較可能性を確保する。
• 議論データセット（Laveeら、2019年）を用いて、支持スピーチに対して反論スピーチを生成する必要がある、ドキュメントからドキュメントへの反論生成ベンチマークを構築する。
• 自動指標（ROUGE、BERTScore）と人間評価を用いて、ゼロショットおよびフェイントショット設定下で複数のLLM（オープンソースおよびクローズドソース）を評価する。
• プロンプト工学のアプローチを用い、LLMの議論のマイニングおよび生成をガイドする。フェイントショット性能を向上させるために、構造化されたFew-shotデモを活用する。
• 自動指標（例：ROUGE）と人間の判断の乖離を分析し、LLMの議論における真の生成能力を評価する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、多様な計算的議論タスクにおいて、ゼロショットおよびフェイントショット設定でどの程度の性能を示すか？
• RQ2 ROUGE や BERTScore などの自動指標は、議論生成の質を評価するにあたり、人間の判断とどの程度一致するか？
• RQ3 LLMは、議論構造を理解し、一貫性のある反論を生成する必要があるエンドツーエンドの議論タスクを効果的に実行できるか？
• RQ4 現在の評価プロトコルにはどのような限界があり、どのように改善できるか？
• RQ5 データセットフォーマットと評価指標の標準化は、議論研究における再現性と比較可能性をどのように向上させるか？

主な発見

• LLMは、ゼロショットおよびフェイントショット設定下において、ほとんどの計算的議論タスクで強力な性能を示しており、特に議論のマイニングおよび反論スピーチ生成において顕著である。
• ROUGEスコアはやや低いが、BERTScoreは一貫して高いことから、LLMは語彙的変動がある中でも議論の意味的意味を的確に捉えていることが示唆される。
• 人間評価により、LLMが生成した反論スピーチは一貫性があり、関連性があり、構造的にも適切であることが確認され、自動指標がモデルの能力を低く評価している可能性がある。
• エンドツーエンドの反論スピーチ生成のための新ベンチマークは、議論的推論の複雑さを的確に捉えており、LLMの包括的評価を可能にした。
• データセットフォーマットと評価指標の標準化により、再現性が向上し、計算的議論分野における今後の研究を促進した。
• 本研究は、ROUGEのような厳密な自動指標が、表面的な一致よりも意味的整合性を重視する状況では、LLMの真の生成的質を完全に反映していない可能性があることを明らかにした。