[論文レビュー] Large Language Models on Wikipedia-Style Survey Generation: an Evaluation in NLP Concepts

Fan Gao, Hang Jiang+8 more|arXiv (Cornell University)|Aug 21, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本稿では、GPT-4、PaLM2、LLaMA2、GPT-3.5 などの大規模言語モデル（LLM）が、99のNLP分野のトピックについてウィキペディア風のサーベイ記事を生成する能力を評価している。ゼロショット、ワンショット、記述プロンプト設定を用いて実験した結果、GPT-4は人間が作成した基準（アノテーション）よりも、現代的で理解しやすく、しばしば質の高いコンテンツを生成したが、時として事実誤認や曖昧な表現を含むことがある。また、本研究ではGPT-4自身の生成テキスト評価においても体系的なバイアスが明らかになった。

ABSTRACT

Educational materials such as survey articles in specialized fields like computer science traditionally require tremendous expert inputs and are therefore expensive to create and update. Recently, Large Language Models (LLMs) have achieved significant success across various general tasks. However, their effectiveness and limitations in the education domain are yet to be fully explored. In this work, we examine the proficiency of LLMs in generating succinct survey articles specific to the niche field of NLP in computer science, focusing on a curated list of 99 topics. Automated benchmarks reveal that GPT-4 surpasses its predecessors, inluding GPT-3.5, PaLM2, and LLaMa2 by margins ranging from 2% to 20% in comparison to the established ground truth. We compare both human and GPT-based evaluation scores and provide in-depth analysis. While our findings suggest that GPT-created surveys are more contemporary and accessible than human-authored ones, certain limitations were observed. Notably, GPT-4, despite often delivering outstanding content, occasionally exhibited lapses like missing details or factual errors. At last, we compared the rating behavior between humans and GPT-4 and found systematic bias in using GPT evaluation.

研究の動機と目的

• LLMがNLP分野の専門的で教育的なサーベイ記事を生成する能力を評価すること。
• 生成されたサーベイ記事の質、正確性、構造的特徴について、人間が作成した基準と比較すること。
• LLMがテキスト品質を評価する際、人間の判断を模倣できるかを調査すること。
• 人間の評価と比較して、LLMによる評価に体系的なバイアスが存在するかを特定すること。

提案手法

• 100件のNLPサーベイ記事を含む「Surfer100」データセットを用い、各記事は「序論」「歴史」「キーアイデア」「応用」「変種」の5つの標準化されたセクションで構成されている。
• GPT-4、GPT-3.5、PaLM2、LLaMA2 の4つのLLMを、ゼロショット（ZS）、ワンショット（OS）、記述プロンプト（DP）、ワンショット＋記述（OSP）の4つのプロンプト設定で評価した。
• 事実の根拠を強化するため、Wikipediaやウェブデータにリンクするリtrieval-augmented generation（RAG）設定（OS+IR）を導入した。
• ROUGE、BERTScore、MoverScore、UniEval、BARTScore といった自動評価指標を用いて生成品質を定量化した。
• 専門家レーティングによる人間評価を実施し、インターレーティング信頼性を評価するため、Krippendorff’s および Kendall’s コefficient を用いた。
• GPT-4自身の評価スコアを人間のスコアと比較することで、LLMによる評価に体系的なバイアスが存在するかを検出した。

(a) Error Type Distribution.

実験結果

リサーチクエスチョン

• RQ1 RQ1: LLMはNLPの概念に関するサーベイ記事の生成においてどの程度の熟練度を示すか？
• RQ2 RQ2: 特定の基準が提示された場合、LLMは人間の判断を模倣できるか？
• RQ3 RQ3: LLMは機械生成テキストの評価において、人間が作成したテキストと比較して顕著なバイアスを示すか？

主な発見

• GPT-4は、ROUGE、BERTScore、MoverScore、UniEval、BARTScore のすべての自動評価指標で最高スコアを記録し、GPT-3.5、PaLM2、LLaMA2 を上回った。
• 人間評価では、GPT-4が生成したサーベイ記事は、人間が作成したものよりも現代的で理解しやすく、明確さと構造性が高かった。
• 強力な性能にもかかわらず、GPT-4は時として事実誤認や重要な詳細の欠落を起こしており、たとえば「意思決定木」に関する調査で画期的な出来事の記載を漏らしていた。
• GPT-4が生成したコンテンツは、mBERTの共有埋め込み空間やHMMのアルゴリズム的特徴を正しく特定するなど、人間が作成した基準を上回る深さと正確性を示したことがある。
• GPT-4の評価において体系的なバイアスが検出された：人間の専門家が優れたと判断したテキストに対しても、GPT-4は自らの出力をより高く評価する傾向があった。
• 本研究では、曖昧な文構造（例：「トピックはNLPにおいて重要な役割を果たす」）が複数のトピックにわたり繰り返し使用されており、応用セクションにおける具体的な記述の欠如を示していることがわかった。

(b) Error Type Distribution.