[論文レビュー] Logic2Text: High-Fidelity Natural Language Generation from Logical Forms

Zhiyu Chen, Wenhu Chen+5 more|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling参考文献 33被引用数 4

ひとこと要約

本稿では、10,753組の（論理的表現, 自然言語記述）ペアを含む大規模なデータセットであるLogic2Textを提案する。このデータセットは、複数行のテーブルからの高忠実度な自然言語生成を目的としている。論理的表現を中間意味表現として提供することで、制御可能で事実に整合した生成が可能となり、GPT-2は人間評価で82.4％の事実的正確性を達成した。これは、論理的表現が忠実度を向上させる上で極めて重要な役割を果たしていることを示している。

ABSTRACT

Previous works on Natural Language Generation (NLG) from structured data have primarily focused on surface-level descriptions of record sequences. However, for complex structured data, e.g., multi-row tables, it is often desirable for an NLG system to describe interesting facts from logical inferences across records. If only provided with the table, it is hard for existing models to produce controllable and high-fidelity logical generations. In this work, we formulate logical level NLG as generation from logical forms in order to obtain controllable, high-fidelity, and faithful generations. We present a new large-scale dataset, extsc{Logic2Text}, with 10,753 descriptions involving common logic types paired with the underlying logical forms. The logical forms show diversified graph structure of free schema, which poses great challenges on the model's ability to understand the semantics. We experiment on (1) Fully-supervised training with the full datasets, and (2) Few-shot setting, provided with hundreds of paired examples; We compare several popular generation models and analyze their performances. We hope our dataset can encourage research towards building an advanced NLG system capable of natural, faithful, and human-like generation. The dataset and code are available at https://github.com/czyssrs/Logic2Text.

研究の動機と目的

• 構造化データから生成される自然言語生成（NLG）システムが、特に複雑な複数行テーブルに対しては表面的な記述しか生成できないという既存の制限を解消すること。
• 論理的表現を中間表現として導入することで、テーブルレコード全体にわたる高レベルな推論を可能にし、生成の忠実度と制御可能性を向上させること。
• 多様で自由なスキーマを持つ論理的表現と、人間がアノテートした記述を備えた高品質で大規模なデータセットを提供すること。
• 完全教師ありおよびfew-shot学習設定において、論理的表現が生成品質に与える影響を評価すること。
• 忠実で人間らしい、論理的に正しいテキスト生成が可能な先進的なNLGシステムの研究を促進すること。

提案手法

• 本稿では、5,600のオープンドメインテーブルと、10,800組の（論理的表現, 記述）ペアを含む新しいデータセット、Logic2Textを紹介する。これらのペアは、人間の専門家によってアノテートされたものである。
• 論理的表現は、カウント、スーパークラス、比較、集約、大多数、一意、順序など、多様な操作をエンコードする、グラフのような構造を持つPythonに似たプログラム構造として表現される。
• このタスクは、テーブルとその対応する論理的表現の両方に条件付けられたテキスト生成として定式化され、推論と言語実現が分離されている。
• ベースラインモデルには、ポインタジェネレータ、graph2seq、Transformer、GPT-2が含まれ、完全教師ありおよびfew-shot学習設定で評価されている。
• 人的評価は、意味的正確性と文の流暢さを評価するために専門家によって実施され、各手法について200例の例が忠実度の観点から検証された。
• 入力の各コンponents（テーブルキャプション、ヘッダー、コンテンツ）が生成品質に与える寄与度を分析するためのアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 テーブルそのものからの生成と比較して、論理的表現を入力として提供することで、NLG出力の事実的正確性と流暢さはどのように向上するか？
• RQ2 完全教師ありおよびfew-shot学習設定の両方において、GPT-2のような事前学習言語モデルが論理的表現のガイドに従うことで、どの程度高忠実度の生成を達成できるか？
• RQ3 テーブルキャプション、ヘッダー、コンテンツといった異なる入力コンponentsが、生成された記述の品質にどの程度寄与しているか？
• RQ4 異なるニューラル生成モデルは、論理的表現からの生成において、意味的正確性と流暢さの観点でどのように比較されるか？
• RQ5 提案されたデータセットは、テキストから論理的表現への生成（テキスト→論理的表現変換）といった逆方向タスクをサポートできるか？また、そのようなデータセットは評価の信頼性をどのように向上させるか？

主な発見

• GPT-2モデルは、論理的表現からの生成において人間評価で82.4％の事実的正確性を達成した。これは、テーブルそのものからの生成では過去にたった20.2％の事実的正確性しか達成できなかったのと比べて顕著な向上である。
• 完全教師あり設定では、GPT-2はBLEU-4スコア31.44およびROUGE-Lスコア53.99を達成し、自動評価指標において優れた性能を示した。
• わずか1,000件の訓練例でも、GPT-2はROUGE-Lスコア47.67を達成し、強力なfew-shot一般化能力を示した。
• アブレーションスタディの結果、テーブルキャプションとヘッダーが強力な文脈的シグナルを提供しており、特にキャプションが性能向上に最も寄与していることが分かった。
• 人的評価により、論理的表現を用いることで意味的正確性が顕著に向上することが確認された。GPT-2は、たとえ偶発的な事実的誤りや論理的誤りが生じても、高い忠実度を維持していた。
• 各論理的表現とその参照記述との間の一意な対応関係があるため、このデータセットは、参照ベースの評価指標における曖昧さを回避し、意味的正確性の精密な評価を可能にしている。