[論文レビュー] Logical Natural Language Generation from Open-Domain Tables

Wenhu Chen, Jianshu Chen+3 more|arXiv (Cornell University)|Apr 22, 2020

Topic Modeling参考文献 44被引用数 10

ひとこと要約

この論文では、オープンドメインのテーブルに記載された事実に基づき、表面的な言い換えを超えて論理的含意を満たす自然言語文を生成するという、新しいタスクである論理的自然言語生成（LogicNLG）を紹介する。著者らは、TabFactに基づいて論理的推論（比較、数え上げ、算術演算など）を含む多様なタイプを備えた新しいデータセット、LogicNLGを提案し、論理的整合性を評価する自動指標を導入した。主な発見として、事前学習済み言語モデルが論理的整合性を著しく向上させる一方、強化学習や敵対的訓練では流暢さと整合性のトレードオフが生じ、粗いから細かい段階への生成アプローチは両者をバランスさせるのに有効であることが示された。

ABSTRACT

Neural natural language generation (NLG) models have recently shown remarkable progress in fluency and coherence. However, existing studies on neural NLG are primarily focused on surface-level realizations with limited emphasis on logical inference, an important aspect of human thinking and language. In this paper, we suggest a new NLG task where a model is tasked with generating natural language statements that can be \emph{logically entailed} by the facts in an open-domain semi-structured table. To facilitate the study of the proposed logical NLG problem, we use the existing TabFact dataset \cite{chen2019tabfact} featured with a wide range of logical/symbolic inferences as our testbed, and propose new automatic metrics to evaluate the fidelity of generation models w.r.t.\ logical inference. The new task poses challenges to the existing monotonic generation frameworks due to the mismatch between sequence order and logical order. In our experiments, we comprehensively survey different generation architectures (LSTM, Transformer, Pre-Trained LM) trained with different algorithms (RL, Adversarial Training, Coarse-to-Fine) on the dataset and made following observations: 1) Pre-Trained LM can significantly boost both the fluency and logical fidelity metrics, 2) RL and Adversarial Training are trading fluency for fidelity, 3) Coarse-to-Fine generation can help partially alleviate the fidelity issue while maintaining high language fluency. The code and data are available at \url{https://github.com/wenhuchen/LogicNLG}.

研究の動機と目的

• 現在のニューラル自然言語生成（NLG）が表面的な事実の言い換えに集中していることによる論理的推論の欠如に対処する。
• 半構造化されたテーブル内の事実から論理的に含意されるテキストを生成するという、新たなNLGタスク「論理的NLG」を提案する。
• TabFactから派生させた新しいベンチマークデータセット、LogicNLGを構築し、比較、数え上げ、算術演算を含む多様な論理的推論を強化する。
• 表面的な事実マッチングを超えた論理的整合性を評価するための新しい自動指標を設計・評価する。
• 異なる生成アーキテクチャおよび学習戦略が、新たな論理的整合性制約下でどのように性能を発揮するかを調査する。

提案手法

• 著者らは、最大値/最小値/合計、比較（同一/異なる）、数え上げ（合計/唯一）などの論理的推論タイプを含むように、TabFactデータセットを拡張することでLogicNLGデータセットを構築した。
• 生成されたテキストがテーブルの事実から論理的に含意されているかどうかを評価する2つの自動評価指標を提案した：構文解析に基づく手法とNLIに基づく手法。
• LSTM、Transformer、事前学習済み言語モデル（例：GPT-2）を含む複数の生成モデルを、強化学習（RL）、敵対的訓練、粗いから細かい段階へのデコードといった多様な方法で訓練した。
• 順序の変化と論理的順序の不一致を解消するために、非単調な粗いから細かい段階への生成モデルを提案し、論理的整合性を向上させるための前向き計画を可能にした。
• 自動指標と人間によるアノテーションの両方を用いてモデルを評価し、人間の評価を自動スコアの信頼性を検証するために用いた。
• 再現可能性および今後の研究を支援するため、コードとデータを https://github.com/wenhuchen/LogicNLG で公開した。

実験結果

リサーチクエスチョン

• RQ1 既存のニューラルNLGモデルは、単なる言い換えを超えて、テーブルの事実から論理的に含意される文を生成できるか？
• RQ2 LSTM、Transformer、事前学習済み言語モデル（LM）などの異なる生成アーキテクチャは、新しいタスクにおける論理的整合性を維持する上で、どのように性能を発揮するか？
• RQ3 強化学習や敵対的訓練といった学習戦略は、流暢さを犠牲にして論理的整合性をどの程度向上できるか？
• RQ4 粗いから細かい段階への生成は、NLGにおける順序の順序と論理的順序の不一致を緩和できるか？
• RQ5 自動指標の論理的整合性評価はどの程度信頼できるか？また、人間の判断と相関関係があるか？

主な発見

• 事前学習済み言語モデル（例：GPT-2）は、流暢さと論理的整合性の両方を著しく向上させ、標準的なTransformerやLSTMモデルを上回った。
• 強化学習と敵対的訓練は論理的整合性を向上させるが、流暢さが低下するというトレードオフを示しており、両者の目的の間には妥協が必要であることが示された。
• 粗いから細かい段階への生成は、論理的整合性の問題を軽減しながらも高い流暢さを維持できるため、非単調な論理的依存関係に対処する上で有効であることが示された。
• 構文解析に基づく自動指標は60％の正確性を達成し、NLIに基づく指標は65％に達した。これは自動評価が依然として挑戦的ではあるが、モデル開発に有用であることを示している。
• モデルはエンティティの順序付けや比較演算では最も良い性能を発揮したが、平均値や合計のような数値集計や、'唯一'や'一意'のようなレアな演算では著しく苦戦した。
• 文字列ベースの操作は数値ベースの操作よりもモデルにとって容易であることが分かった。これは、数値推論をNLGに統合する上で重要な未解決の課題を示している。