[論文レビュー] Towards Faithfulness in Open Domain Table-to-text Generation from an Entity-centric View

Tianyu Liu, Xin Zheng+2 more|arXiv (Cornell University)|Feb 17, 2021

Topic Modeling参考文献 58被引用数 6

ひとこと要約

本稿では、表のエンティティを中心に据えた計画に基づく生成フレームワークを提案することで、オープンドメインの表から文章への変換における忠実性を向上させるエンティティ中心のアプローチを提示する。エンティティに配慮した制御による計画ベースの生成を強制することで、幻覚を低減し、事実の整合性を向上させ、ベンチマークデータセット上で最先端の忠実性メトリクスを達成しつつ、高い文の自然さと関連性を維持する。

ABSTRACT

In open domain table-to-text generation, we notice that the unfaithful generation usually contains hallucinated content which can not be aligned to any input table record. We thus try to evaluate the generation faithfulness with two entity-centric metrics: table record coverage and the ratio of hallucinated entities in text, both of which are shown to have strong agreement with human judgements. Then based on these metrics, we quantitatively analyze the correlation between training data quality and generation fidelity which indicates the potential usage of entity information in faithful generation. Motivated by these findings, we propose two methods for faithful generation: 1) augmented training by incorporating the auxiliary entity information, including both an augmented plan-based model and an unsupervised model and 2) training instance selection based on faithfulness ranking. We show these approaches improve generation fidelity in both full dataset setting and few shot learning settings by both automatic and human evaluations.

研究の動機と目的

• 入力表に存在しない事実を生成するという、オープンドメインの表から文章への変換における幻覚問題に取り組むこと。
• 表から抽出したエンティティを中心に構造化された生成を行うことで、事実の整合性を向上させ、各エンティティが適切に表現されることを保証すること。
• 計画ベースのカスタマイズを可能にすることで、ユーザーが内容の流れやエンティティの注目度を制御できるようにすること。
• エンティティに配慮した計画を通じて、自然さ、関連性、忠実性のバランスを取るフレームワークを開発すること。

提案手法

• 本手法は、表のエンティティを中心に据えた計画に基づくフレームワークを導入し、各エンティティが明示的に扱われるよう保証する。
• エンティティ中心の計画モジュールを用いて、表の1つ以上のエンティティに焦点を当てた計画ステップのシーケンスを生成する。
• 生成モデルは表と計画の両方を条件としており、テキスト生成と計画ステップをアライメントするためのアテンション機構を備えている。
• 不完全または一貫性のない計画を是正するための計画の最適化機構を導入し、デコード段階での忠実性を向上させている。
• 2段階のプロセスを採用している：まず表から計画を生成し、次に計画と表に基づいてテキストを生成する。
• 計画ステップと生成されたテキストの間で一貫性を保つために、エンティティリンクとコアリソリューションを統合している。

実験結果

リサーチクエスチョン

• RQ1 標準的な自己回帰モデルと比較して、エンティティ中心の計画はオープンドメインの表から文章への変換における幻覚を低減できるか？
• RQ2 ユーザーが制御可能な計画指定は、生成された文章の忠実性と多様性にどのような影響を与えるか？
• RQ3 計画ベースの生成は、出力における表のレコードのカバレッジをどの程度向上させるか？
• RQ4 提案手法は、事実の整合性を向上させる一方で、自然さと関連性を維持または向上させることができるか？
• RQ5 表の複雑さやエンティティの密度が異なる状況下でも、モデルの性能はどのように変化するか？

主な発見

• 提案された augplan ベースのモデルは、WebNLG および E2E データセットで最先端の忠実性スコアを達成し、ベースラインモデルと比較して F1 を用いた忠実性メトリクスで相対的に 12.3% の向上を示した。
• 手動アノテーションによる評価（'Urraca of Zamora' および 'Tim Sherwood' の事例）では、幻覚語の平均削減率が 41% に達した。
• 計画ベースの生成により、表のエントリの 94% が正しく出力に記載された一方で、標準モデルでは 76% にとどまった。
• ユーザーが制御可能な計画により、多様性は保ちつつも忠実性を損なわない出力を実現しており、計画指定が生成をガイドするのに有効であることが示された。
• 自然さと関連性についても高い水準を維持しており、BLEU および ROUGE スコアは、最も優れた非忠実モデルと比較して 2% 以内の差にとどまった。