[論文レビュー] FABLES: Evaluating faithfulness and content selection in book-length summarization

Yekyung Kim, Yapei Chang+6 more|arXiv (Cornell University)|Apr 1, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、長文の文脈を扱う大規模言語モデル（LLM）を用いた長編書籍要約における忠実性および内容選択の最初の大規模な人間評価である FABLES を紹介する。26部の最近発表されたフィクション書籍を評価し、3,158件の主張レベルのアノテーションを収集した結果、Claude-3-Opus が他のモデルに比べて忠実性で顕著に優れていることが判明した。一方、LLMに基づく自動レーティングモデルは人間の判断と強く相関しなく、長文NLP分野における忠実性評価ベンチマークの改善が急務であることが示された。

ABSTRACT

While long-context large language models (LLMs) can technically summarize book-length documents (>100K tokens), the length and complexity of the documents have so far prohibited evaluations of input-dependent aspects like faithfulness. In this paper, we conduct the first large-scale human evaluation of faithfulness and content selection on LLM-generated summaries of fictional books. Our study mitigates the issue of data contamination by focusing on summaries of books published in 2023 or 2024, and we hire annotators who have fully read each book prior to the annotation task to minimize cost and cognitive burden. We collect FABLES, a dataset of annotations on 3,158 claims made in LLM-generated summaries of 26 books, at a cost of $5.2K USD, which allows us to rank LLM summarizers based on faithfulness: Claude-3-Opus significantly outperforms all closed-source LLMs, while the open-source Mixtral is on par with GPT-3.5-Turbo. An analysis of the annotations reveals that most unfaithful claims relate to events and character states, and they generally require indirect reasoning over the narrative to invalidate. While LLM-based auto-raters have proven reliable for factuality and coherence in other settings, we implement several LLM raters of faithfulness and find that none correlates strongly with human annotations, especially with regard to detecting unfaithful claims. Our experiments suggest that detecting unfaithful claims is an important future direction not only for summarization evaluation but also as a testbed for long-context understanding. Finally, we move beyond faithfulness by exploring content selection errors in book-length summarization: we develop a typology of omission errors related to crucial narrative elements and also identify a systematic over-emphasis on events occurring towards the end of the book.

研究の動機と目的

• 長編LLM要約における忠実性および内容選択の最初の大規模な人的評価を実施し、長文NLP評価分野における重要な空白を埋める。
• ターゲット書籍（2023年または2024年発表）を事前に読破したアノテーターを雇用することで、データの汚染および認知的負担を軽減する。
• FABLESを構築し、26部のフィクション書籍について3,158件の主張レベルの忠実性アノテーション（根拠と自由記述コメントを含む）を公開する。
• 忠実性評価におけるLLMベースの自動レーティングモデルの信頼性を評価し、人間の判断と比較することで、主な限界を同定する。
• 忠実性を超えた内容選択の誤りを分析し、省略のパターンや終盤の出来事への過剰な強調を含む。

提案手法

• 5種類のLLM設定（ベースモデルとチャンクサイズの変更を含む）を用いた階層的要約パイプラインを採用し、26部の最近発表されたフィクション書籍の要約を生成した。
• GPT-4を用いたプロンプト処理により、各要約を文脈を失った主張に分解し、細分化された評価を可能にした。
• 3,158件の主張について人的評価を実施し、アノテーターが各主張を元のテキストと照合し、根拠を提示し、ラベルの妥当性を説明する必要があった。
• 主張レベルおよび要約レベルで自由記述コメントを収集し、体系的な省略や内容選択の誤りを特定した。
• 複数のLLMベースの自動レーティングモデルを評価し、全書籍（EB）やBM25で取得したパラグラフをプロンプトとして用いることで、人間の判断との相関を測定した。
• 要約レベルのコメントのコーディングに基づき、出来事、登場人物の状態、テーマなどの重要な物語的要素を焦点とした、省略エラーの分類法を開発した。

実験結果

リサーチクエスチョン

• RQ1 どのLLMが最も忠実な長編書籍要約を生成するか。また、忠実性および内容選択の観点から、それらのモデルはどのように比較されるか。
• RQ2 LLMが生成する要約において、最も一般的な忠実性の誤り（例：出来事の誤解釈、登場人物状態の誤り）は何か。
• RQ3 マルチホップ推論を要するような、不正確な主張を検出できるか、LLMベースの自動レーティングモデルは信頼的に機能するか。
• RQ4 出来事の終盤への過剰な強調や重要なテーマの省略といった、体系的な内容選択の誤りは、LLM要約生成モデルにどのように現れるか。
• RQ5 全書籍をプロンプトとして与えた場合や、取得されたパラグラフを用いた場合、人間による忠実性判断とLLMベースのレーティングモデルの予測は、どのように比較されるか。

主な発見

• Claude-3-Opus は、全書籍をプロンプトとして与えた設定（EB）において、全体の本に対して0.970のリCALLを示し、他の閉鎖型LLMを著しく上回り、不正確な主張はたった1件しか誤分類しなかった。
• GPT-4-Turbo は2番目に高く、リCALLが0.963であった。GPT-3.5-Turbo と Mixtral は同等の性能を示し、一部の指標では Mixtral が GPT-3.5-Turbo よりわずかに優れていた。
• LLMベースのレーティングモデルのうち、人間のアノテーションと強く相関するものは存在せず、特に不正確な主張の検出において顕著な限界を示した。GPT-4-Turbo でさえ、EB設定においてF1スコアが0.354にとどまった。
• 不正確な主張の多くは出来事や登場人物の状態に関連しており、通常は物語的根拠を複数のステップにわたって統合して検証するマルチホップ推論を経て初めて否定されるため、極めて複雑な性質を有する。
• すべてのLLMが体系的な内容選択の誤りを示しており、重要な出来事、登場人物の成長弧、テーマが頻繁に省略されており、本の最後の3分の1にかけての内容に一貫して過剰に注目している。
• 人的評価のコストは26冊で5,200ドルにのぼり、全書籍をプロンプトとして与えるのは非常に高価（例：Claude-3-Opusで7冊分で1,070ドル）であるため、人的評価のスケーリングの難しさが浮き彫りになった。