[論文レビュー] ANLS* -- A Universal Document Processing Metric for Generative Large Language Models

David Peer, Philemon Schöpf+3 more|arXiv (Cornell University)|Feb 6, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、文書処理タスクにおける生成型大規模言語モデル（GLLMs）のための包括的評価指標であるANLS*を提案する。ANLS*は、辞書やリストなどの構造的出力を扱えるようにANLS指標を拡張し、後方互換性を保ったまま、情報抽出や分類などの多様なタスクにおいて一貫した評価を可能にする。SFT（構造化ファインチューニングプロンプティング）と呼ばれる新規なプロンプティング技術を用いることで、21件のケースのうち15件で既存手法を上回り、最高で15パーセンテージポイントの向上を達成した。

ABSTRACT

Traditionally, discriminative models have been the predominant choice for tasks like document classification and information extraction. These models make predictions that fall into a limited number of predefined classes, facilitating a binary true or false evaluation and enabling the direct calculation of metrics such as the F1 score. However, recent advancements in generative large language models (GLLMs) have prompted a shift in the field due to their enhanced zero-shot capabilities, which eliminate the need for a downstream dataset and computationally expensive fine-tuning. However, evaluating GLLMs presents a challenge as the binary true or false evaluation used for discriminative models is not applicable to the predictions made by GLLMs. This paper introduces a new metric for generative models called ANLS* for evaluating a wide variety of tasks, including information extraction and classification tasks. The ANLS* metric extends existing ANLS metrics as a drop-in-replacement and is still compatible with previously reported ANLS scores. An evaluation of 7 different datasets, and more than 20 different GLLMs together with 3 different prompting methods using the ANLS* metric is also provided, demonstrating the importance of the proposed metric. We also benchmark a novel approach to generate prompts for documents, called SFT, against other prompting techniques such as LATIN. In almost all cases, SFT outperforms other techniques and improves the state-of-the-art, sometimes by as much as $10$ percentage points. Sources are available at https://github.com/deepopinion/anls_star_metric

研究の動機と目的

• 生成型LLMの文書処理における包括的評価指標の欠如、特に構造的・複雑な出力に対して、その解決を図ること。
• 情報抽出で一般的な辞書、リスト、混合型出力をサポートするように、既存のANLS指標を拡張すること。
• 判別型モデルと生成型モデルの間で、単一で一貫した指標を用いて直接比較可能にする。
• SFTのような高度なプロンプティング戦略の有効性を、LATINのような既存手法と比較して評価すること。
• 7つのデータセットと4つのGLLMを用いて、ANLS*を用いた再現可能な結果が得られる公開ベンチマークを提供すること。

提案手法

• ANLS*は、ネストされた構造（例：辞書、リスト）を再帰的に比較することで、Levenshteinに基づく類似度を拡張し、各レベルで正規化された文字列類似度を計算する。
• 複雑な出力オブジェクト内のすべての比較可能な要素に対して類似度を計算する再帰的正規化戦略を適用し、意味的構造を保持する。
• ANLS*はANLSとの後方互換性を維持しており、ANLS*を用いた場合でも、従来のANLSスコアは変更されない。
• 著者らはANLS*をモジュラーに実装し、既存の評価パイプラインにおいてANLSの即時置換として使用可能である。
• 生成型LLMの出力と正解との整合性を高めるために、タスク固有の構造的プロンプトを生成する新規なプロンプティング技術SFT（構造化ファインチューニングプロンプティング）を導入する。
• 評価は、4つのGLLMを用いて7つの多様な文書処理データセットで実施され、ANLS*は分類、QA、情報抽出タスクのパフォーマンスを測定するために用いられた。

(a) Ground truth.

実験結果

リサーチクエスチョン

• RQ1 ANLS*は、構造的出力や非構造的出力を含む多様な文書処理タスクにおいて、生成型LLMの包括的評価指標として機能できるか？
• RQ2 ANLS*は、複雑な出力タイプにおいて、元のANLS指標と比較して、互換性とパフォーマンスの両面で優れているか？
• RQ3 提案されたSFTプロンプティング技術は、LATINのような既存のプロンプティング戦略を著しく上回り、正確で構造的な出力を生成できるか？
• RQ4 実世界の文書データセットにおいて、ANLS*で評価された場合、異なるGLLMのパフォーマンスにどの程度の差が生じるか？
• RQ5 ANLS*は、単一の評価フレームワークを用いて、判別型モデルと生成型モデルの間で公平かつ直接的な比較を可能にするか？

主な発見

• SFTは、21件の評価ケースのうち15件でLATINプロンプティング手法を上回り、DocVQAデータセットでは最高で15パーセンテージポイントの向上を達成した。
• GPT-3.5-turbo-16kは、DocVQAおよびSROIEの2つのデータセットでGPT-4-turboを上回った。これは、モデルのバージョニングとプロンプト工学の重要性を示している。
• Gemini-Proは特定のタスクで顕著なパフォーマンス低下を示し、GPTモデルと比較して最大60.5パーセンテージポイントの低下を示した。これは、セーフティフィルタリングによるものと推測される。
• Mistral-largeは、レイアウト依存のタスクにおいて特に苦戦し、2次元文書構造を処理する能力の限界を示した。
• ANLS*は、ネストされた辞書やリストを含む複雑な出力の評価に成功し、単純な文字列マッチングを超える汎用性を示した。
• 著者らは、ANLS*がANLSと完全に後方互換性を持つことを確認した。これにより、従来のベンチマーク作業との一貫性が保証された。

(b) Prediction with $\text{ANLS*}=1.0$ .