[論文レビュー] Evaluating Semantic Accuracy of Data-to-Text Generation with Natural Language Inference

Ondřej Dušek, Zdeněk Kasner|arXiv (Cornell University)|Nov 21, 2020

Topic Modeling被引用数 10

ひとこと要約

本論文では、自然言語推論（NLI）のための微調整済みRoBERTaモデルを用いて、参照なしの新しいメトリクスを提案する。構造化された入力データを自然言語のテンプレートに変換し、双方向の含意チェック（生成されたテキストが入力事実を含意するか（欠落を検出）と、入力事実が生成されたテキストを含意するか（幻覚を検出））を実施することで、E2Eでは90％以上、WebNLGでは75％以上の精度を達成し、ベースラインメトリクスを上回り、最小限の手作業で人間の評価に近い品質に到達する。

ABSTRACT

A major challenge in evaluating data-to-text (D2T) generation is measuring the semantic accuracy of the generated text, i.e. checking if the output text contains all and only facts supported by the input data. We propose a new metric for evaluating the semantic accuracy of D2T generation based on a neural model pretrained for natural language inference (NLI). We use the NLI model to check textual entailment between the input data and the output text in both directions, allowing us to reveal omissions or hallucinations. Input data are converted to text for NLI using trivial templates. Our experiments on two recent D2T datasets show that our metric can achieve high accuracy in identifying erroneous system outputs.

研究の動機と目的

• モデルが事実を省略したり、根拠のない情報を生成する（幻覚）といった問題を自動的に測定する挑戦に応えること。
• 人間がアノテートした参照やドメイン特化のトレーニングに依存しない、スケーラブルな参照なしの評価手法を開発すること。
• 事前学習済みの自然言語推論（NLI）モデルを活用して、生成テキストにおける省略や幻覚といった意味的誤りを検出すること。
• E2E や WebNLG といった多様な D2T データセットに対して、最小限の人的介入で現実的な条件下でこのアプローチの有効性を評価すること。

提案手法

• 各構造化された入力事実を、一貫したシンプルなテンプレート（例：'Blue Spice はパブです'）を用いて自然言語文に変換する。
• 自然言語推論（NLI）のため微調整済みの事前学習済み RoBERTa モデルを用い、入力事実と生成されたテキストの関係を分類する。
• 二方向の含意チェックを実施する：(1) 入力事実を前提とし、生成テキストを仮説とする（幻覚を検出）、(2) 生成テキストを前提とし、入力事実を仮説とする（省略を検出）。
• ペアを含意、矛盾、中立のいずれかに分類し、どちらの方向でも矛盾が生じれば意味的誤りと判断する。
• すべての入力事実に対して結果を集約し、生成テキスト全体の意味的正確性を決定する。
• ドメイン特化の微調整や人間がアノテートした参照を一切使用せず、汎用的なNLIモデルと基本的なテキストテンプレートに依存する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みNLIモデルは、データからテキストへの生成出力における省略や幻覚といった意味的誤りを効果的に検出できるか？
• RQ2 このNLIベースのメトリクスは、手作業で作成されたスクリプトや参照ベースのメトリクスと比較して、正確性とスケーラビリティの面でどの程度優れているか？
• RQ3 ドメイン特化の微調整や人間がアノテートした参照なしで、汎用的なNLIモデルが意味的不正確さをどの程度検出できるか？
• RQ4 NLIベースのメトリクスの主な失敗モードは何か。ドメイン特化による適応によってそれらはどのように緩和できるか？

主な発見

• 提案されたNLIベースのメトリクスは、E2Eチャレンジデータセットで97.8％の精度を達成し、手作業スクリプトの99.5％に非常に近い。
• より複雑なWebNLGデータセットでは、76.5％の精度と97.6％の再現率を達成し、ドメインの複雑さが高いためにもかかわらず、優れた性能を示した。
• 入力事実と生成テキストの間で両方向の含意チェックを実施することで、省略と幻覚の両方を効果的に検出できる。
• 手動によるエラー分析により、メトリクスが誤りとマークした多くの事例が実際に意味的に誤りであることが確認され、信頼性が裏付けられた。
• 参照なしの文法的正確性メトリクスを上回り、特にスケーラビリティと人的努力の低さを考慮すると、人間評価と比較しても競争力がある。
• ドメイン特化の微調整なしでも効果的であるが、小規模なドメイン適応により性能が向上するため、さらなる最適化の余地があることが示唆された。