[論文レビュー] Automated Evaluation of Personalized Text Generation using Large Language Models

Yaqing Wang, Jiepu Jiang+5 more|arXiv (Cornell University)|Oct 17, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

この論文では、人間によるアノテーション済みのリファレンスに依存せずに、個人化、品質、関連性の3つの主要な次元を評価するため、大規模言語モデル（LLMs）を用いた新しい自動評価フレームワークであるAuPELを提案する。AuPELは、人的なリファレンスに依存しないにもかかわらず、人的アノテーターおよびBLEU や ROUGE といった従来のメトリクスよりも、正確性、一貫性、感受性の面で優れている。特に、語彙的類似性を超えた洗練された個人化を検出する点で優れている。

ABSTRACT

Personalized text generation presents a specialized mechanism for delivering content that is specific to a user's personal context. While the research progress in this area has been rapid, evaluation still presents a challenge. Traditional automated metrics such as BLEU and ROUGE primarily measure lexical similarity to human-written references, and are not able to distinguish personalization from other subtle semantic aspects, thus falling short of capturing the nuances of personalized generated content quality. On the other hand, human judgments are costly to obtain, especially in the realm of personalized evaluation. Inspired by these challenges, we explore the use of large language models (LLMs) for evaluating personalized text generation, and examine their ability to understand nuanced user context. We present AuPEL, a novel evaluation method that distills three major semantic aspects of the generated text: personalization, quality and relevance, and automatically measures these aspects. To validate the effectiveness of AuPEL, we design carefully controlled experiments and compare the accuracy of the evaluation judgments made by LLMs versus that of judgements made by human annotators, and conduct rigorous analyses of the consistency and sensitivity of the proposed metric. We find that, compared to existing evaluation metrics, AuPEL not only distinguishes and ranks models based on their personalization abilities more accurately, but also presents commendable consistency and efficiency for this task. Our work suggests that using LLMs as the evaluators of personalized text generation is superior to traditional text similarity metrics, even though interesting new challenges still remain.

研究の動機と目的

• 人的にアノテートされたリファレンスに依存しない、堅牢で自動化された個人化テキスト生成の評価手法の不足を解消すること。
• BLEU や ROUGE といった従来のメトリクスが捉えきれない、個人化と一般的な品質・関連性の違いを区別できるフレームワークの開発。
• 人的アノテーターと比較して、LLMsが個人化テキスト生成の評価において信頼性があり、一貫性があり、感受性が高い評価者として機能できるかどうかの検証。
• 制御された実験とモデルサイズおよびユーザープロファイルごとのペアワイズ比較を通じて、LLMベースの評価の有効性を検証すること。

提案手法

• AuPELは、大規模言語モデル（LLM）を評価者として用い、2つのテキスト生成システムを、個人化、品質、関連性の3つの次元について対比評価する。
• LLM評価者は、2つの生成テキストのうち、各次元でより良い方を判断するようにプロンプトされ、根拠を添えた相対的好みを提示する。
• このフレームワークは、個人に特化した語彙、トーン、文章スタイル、個別の視点といったユーザー固有の文脈を理解できるLLMの能力に依存している。
• 評価結果は、Eloレーティングシステムを用いて集約され、モデル間で堅牢で比較可能なベンチマークが得られる。
• この手法はリファレンスフリーであるため、個人化設定ではしばしば入手困難または現実的でない人的リファレンスに依存しない。
• 個人化と関連性が明確に異なる測定可能な次元であることを確認するため、制御されたアブレーションスタディが実施された。

Figure 1 . Agreement between evaluators and assumed truth (GOLD ¿ XXL ¿ XL) at test case level; error bars represent 95% confidence intervals. AuPEL is more accurate than human raters and traditional NLG metrics.

実験結果

リサーチクエスチョン

• RQ1 LLMsは人的にアノテートされたリファレンスに依存せずに、個人化テキスト生成を正確に評価できるか？
• RQ2 LLM評価者と人的アノテーターの間で、個人化、品質、関連性の評価において、性能に差は生じるか？
• RQ3 LLM評価者のサイズが、個人化における微細な差を検出する能力に影響を与えるか？
• RQ4 AuPELは、モデルサイズ、ユーザープロファイル、生成文脈の違いがあるモデルを、高い感受性と一貫性で区別できるか？

主な発見

• LLM評価者は、ユーザーが書いたテキストとモデル生成テキストの著者判別において90％の正確性を達成し、人的アノテーターの約70％を上回った。
• AuPELは人的に書かれたリファレンスとの一致度が人的アノテーターを上回り、個人化評価における優れた正確性を示した。
• より大きなLLM評価者（PaLM 2-IT-L）は、より小さなモデル（PaLM 2-IT-S）よりも顕著に優れた個人化評価性能を示した。後者はペアワイズ比較で30％以上の同着を生じた。
• AuPELは、人的アノテーションを一切必要とせず、少数のテストケースでもほぼ完璧な一貫性と感受性を達成した。
• アブレーションスタディの結果、関連性と個人化が明確に分離可能であり、個人化と一般的な品質・関連性が分離されたことが確認された。
• AuPELのEloレーティングは、従来のメトリクスよりもモデルサイズやユーザープロファイルの違いに対してより感受性が高く、堅牢で客観的なベンチマークを提供した。

Figure 2 . Estimated consistency of AuPEL , human raters, and NLG metrics for comparing T5 XL vs. T5 XXL generators.