[論文レビュー] Potential and Perils of Large Language Models as Judges of Unstructured Textual Data

Rewina Bedemariam, Néstor O. Pérez+8 more|ArXiv.org|Jan 14, 2025

Topic Modeling被引用数 3

ひとこと要約

論文は、オープンエンド調査要約におけるテーマ整合性の judge としての LLM を評価し、複数モデルにわたり人間評価と比較して moderate な一致を見出し、モデル間の一致の方が人間との一致より高いことを示す。

ABSTRACT

Rapid advancements in large language models have unlocked remarkable capabilities when it comes to processing and summarizing unstructured text data. This has implications for the analysis of rich, open-ended datasets, such as survey responses, where LLMs hold the promise of efficiently distilling key themes and sentiments. However, as organizations increasingly turn to these powerful AI systems to make sense of textual feedback, a critical question arises, can we trust LLMs to accurately represent the perspectives contained within these text based datasets? While LLMs excel at generating human-like summaries, there is a risk that their outputs may inadvertently diverge from the true substance of the original responses. Discrepancies between the LLM-generated outputs and the actual themes present in the data could lead to flawed decision-making, with far-reaching consequences for organizations. This research investigates the effectiveness of LLM-as-judge models to evaluate the thematic alignment of summaries generated by other LLMs. We utilized an Anthropic Claude model to generate thematic summaries from open-ended survey responses, with Amazon's Titan Express, Nova Pro, and Meta's Llama serving as judges. This LLM-as-judge approach was compared to human evaluations using Cohen's kappa, Spearman's rho, and Krippendorff's alpha, validating a scalable alternative to traditional human centric evaluation methods. Our findings reveal that while LLM-as-judge offer a scalable solution comparable to human raters, humans may still excel at detecting subtle, context-specific nuances. Our research contributes to the growing body of knowledge on AI assisted text analysis. Further, we provide recommendations for future research, emphasizing the need for careful consideration when generalizing LLM-as-judge models across various contexts and use cases.

研究の動機と目的

• LLMs が judge として生成要約のテーマ整合性を評価する際の正確さを評価する。
• 複数の一致指標を用いて LLM-as-judge の出力と人間の評価を比較する。
• テーマ評価タスクにおいて、人間の判断に最も近い LLM を特定する。
• LLM ベースの評価のバイアスと限界を論じ、今後の研究方向を提案する。

提案手法

• Anthropic Claude モデルを用いてオープンエンド調査回答からテーマ的要約を生成する。
• 複数の LLM（Titan Express、Nova Pro、Llama）を judge として、テーマ名・説明・引用の評価を行う。
• 人間評価者との一致を百分率一致、Cohen’s kappa、Spearman’s rho、Krippendorff’s alpha で測定する。
• 人間の baseline、Claude ベースの評価、Claude の出力のクロスLLM 評価という3段階の評価を実施する。
• 要約内の個別テーマの内容整合性を評価するためのプロンプト設計と検証を提供する。

実験結果

リサーチクエスチョン

• RQ1 LLMs はテーマ整合性の評価において人間の判断をどの程度再現できるのか、LLM と人間の評価の乖離に寄与する要因は何か。
• RQ2 人間-モデルの一致よりモデル間の一致が高い場合、コンテンツ分析およびテーマ評価タスクの LLM の開発と応用にどのような影響があるか。

主な発見

比較	Percentage Agreement	Cohen’s Kappa	Spearman’s Rho	Krippendorff’s Alpha Ordinal	Krippendorff’s Alpha Nominal
Human vs Claude 2.1 Ratings	79%	0.41	0.62	0.60	0.42
Human vs Titan Express Ratings	78%	0.35	0.50	0.49	0.41
Human vs Sonnet 3.5 Ratings	76%	0.44	0.60	0.60	0.35
Human vs Llama 3.3 70b Ratings	79%	0.39	0.63	0.60	0.39
Human vs Nova Pro	76%	0.34	0.57	0.57	0.35
Claude 2.1 vs Titan Express Ratings	91%	0.70	0.86	0.87	0.70
Claude 2.1 vs Sonnet 3.5 Ratings	75%	0.35	0.43	0.41	0.35
Claude 2.1 vs Llama 3.3 70b Ratings	85%	0.50	0.65	0.65	0.50
Claude 2.1 vs Nova Pro Ratings	85%	0.54	0.69	0.69	0.54
Titan Express vs Sonnet 3.5 Ratings	74%	0.32	0.47	0.44	0.30
Titan Express vs Llama 3.3 70b Ratings	84%	0.44	0.68	0.68	0.43
Titan Express vs Nova Pro Ratings	87%	0.57	0.71	0.71	0.57
Sonnet 3.5 vs Llama 3.3 70b Ratings	76%	0.37	0.55	0.49	0.37
Sonnet 3.5 vs Nova Pro Ratings	82%	0.56	0.70	0.67	0.55
Nova Pro vs Llama 3.3 70b Ratings	84%	0.47	0.72	0.71	0.47

• LLMs は複数の指標で人間の評価者と中程度の一致を達成できる。
• Claude (v2.1) は人間との一致率が最も高く（79%）、一般に Cohen’s kappa および Krippendorff’s alpha のスコアが最良クラスに近い。
• Spearman’s rho は人間とモデル評価の間で中程度から強い相関（0.50–0.62）を示し、しばしば Cohen’s kappa より高い。
• LLM 間の一致は人間-モデルの一致より高く、場合によってはモデル同士が人間よりも互いに一致することがある。
• いくつかのモデル（例：Sonnet 3.5、Nova Pro）は Claude および Llama と比較して複数の指標で劣っており、モデル間での非単調な性能を示唆する。
• 人間は一部のケースでニュアンスと文脈依存の微妙さをより高精度で検出しており、人間の監視の価値を示している。