[論文レビュー] The FactChecker: Verifying Text Summaries of Relational Data Sets.

Saehan Jo, Immanuel Trummer+3 more|arXiv (Cornell University)|Apr 20, 2018

Topic Modeling参考文献 25被引用数 1

ひとこと要約

FactCheckerは、主張をSQLクエリにマッピングし、包括的なモデルを用いてその正しさを評価することで、リレーショナルデータのテキスト要約の事実検証を行う確率的自然言語インタフェースです。自動的事実検証において高いリcallと精度を達成し、一般的なSQLツールと比較して検証時間を6倍短縮しています。

ABSTRACT

We present a novel natural language query interface, the FactChecker, aimed at text summaries of relational data sets. The tool focuses on natural language claims that translate into an SQL query and a claimed query result. Similar in spirit to a spell checker, the FactChecker marks up text passages that seem to be inconsistent with the actual data. At the heart of the system is a probabilistic model that reasons about the input document in a holistic fashion. Based on claim keywords and the document structure, it maps each text claim to a probability distribution over associated query translations. By efficiently executing tens to hundreds of thousands of candidate translations for a typical input document, the system maps text claims to correctness probabilities. This process becomes practical via a specialized processing backend, avoiding redundant work via query merging and result caching. Verification is an interactive process in which users are shown tentative results, enabling them to take corrective actions if necessary. Our system was tested on a set of 53 public articles containing 392 claims. Our test cases include articles from major newspapers, summaries of survey results, and Wikipedia articles. Our tool revealed erroneous claims in roughly a third of test cases. A detailed user study shows that users using our tool are in average six times faster at checking text summaries, compared to generic SQL interfaces. In fully automated verification, our tool achieves significantly higher recall and precision than baselines from the areas of natural language query interfaces and fact checking.

研究の動機と目的

• リレーショナルデータベースから導出されたテキスト要約の自動検証の増大するニーズに対応すること。
• データに関する自然言語的主張の事実的不一致を特定すること。これは、データ正確性のスペルチェッカーに類似したものです。
• 従来のSQLインタフェースと比較して、主張の検証における効率性と正確性を向上させること。
• 十数万件の候補となるクエリ翻訳を効率的に処理できるスケーラブルなシステムの開発。
• ユーザーがリアルタイムフィードバックに基づいて主張を訂正または精緻化できる対話型事実検証を可能にすること。

提案手法

• 主張キーワードとドキュメント構造を用いて、各テキスト主張を可能なSQLクエリ翻訳の確率分布にマッピングする。
• 重複するクエリを統合し、結果をキャッシュする専用バックエンドを採用して再計算を回避する。
• 包括的なモデルを用いて主張を全体的なドキュメント文脈を考慮して評価し、正しさを判断する。
• 対話型検証をサポートし、一時的な結果を表示するとともに、ユーザーによる訂正を可能にする。
• クエリ統合と結果キャッシュを活用して、数十万件の候補となる翻訳にスケーラブルに対応する。
• 自然言語理解とデータベースクエリ実行を統合し、実際のデータに基づいて主張を検証するアプローチ。

実験結果

リサーチクエスチョン

• RQ1 自然言語的主張についてのリレーショナルデータ要約の事実的正確性を、自動的に検証できるシステムは存在するか？
• RQ2 FactCheckerの検証速度は、一般的なSQLインタフェースと比較してどの程度優れているか？
• RQ3 実世界のデータ要約において、誤った主張を検出する際の、このシステムのリcallと精度はどの程度か？
• RQ4 確率的モデリングは、複雑なドキュメントにおける主張→SQLマッピングの信頼性をどの程度向上できるか？
• RQ5 このシステムは、多様なデータ要約タイプにおいて、事実的不一致をどの程度効果的に特定できるか？

主な発見

• FactCheckerは、392件の主張を含む53件のテスト記事の約1/3で誤った主張を特定した。
• ユーザースタディの結果、FactCheckerを用いることで、一般的なSQLインタフェースと比較してテキスト要約の検証が6倍速くなった。
• 完全自動検証において、FactCheckerは既存の自然言語クエリインタフェースおよび事実検証システムのベースラインと比較して、顕著に高いリcallと精度を達成した。
• クエリ統合と結果キャッシュを活用することで、システムは十数万から数十万件の候補となるクエリ翻訳を効率的に処理できた。
• 確率的モデルは、ニュース記事、アンケート要約、Wikipediaエントリを含む多様なデータ要約タイプにおいて、強固な性能を示した。
• 対話型検証により、ユーザーは主張を効果的に訂正でき、正確性と使いやすさの両方が向上した。