[論文レビュー] Challenges in Data-to-Document Generation

Sam Wiseman, Stuart M. Shieber+1 more|arXiv (Cornell University)|Jul 25, 2017

Topic Modeling参考文献 32被引用数 53

ひとこと要約

本論文は、データから文書を生成するための大規模なNBAボックススコアデータセットを紹介し、抽出型評価指標を提案し、ニューラルとテンプレートベースのベースラインを比較して、ニューラルモデルがコンテンツ選択と長期的構造の点でテンプレートと比べて苦戦することを示している。

ABSTRACT

Recent neural models have shown significant progress on the problem of generating short descriptive texts conditioned on a small number of database records. In this work, we suggest a slightly more difficult data-to-text generation task, and investigate how effective current approaches are on this task. In particular, we introduce a new, large-scale corpus of data records paired with descriptive documents, propose a series of extractive evaluation methods for analyzing performance, and obtain baseline results using current neural generation methods. Experiments show that these models produce fluent text, but fail to convincingly approximate human-generated documents. Moreover, even templated baselines exceed the performance of these neural models on some metrics, though copy- and reconstruction-based extensions lead to noticeable improvements.

研究の動機と目的

• 構造化データへの忠実性を強調した、長尺な文書規模のデータからテキストへのタスクを動機づける。
• バスケットボールの試合記録と説明文を対になった、公開可能なデータセットを提供する。
• コンテンツ選択、生成、並びに順序を評価する自動的な抽出型評価指標を提案する。
• 長文のデータから文書生成の性能ベンチマークを確立するため、ベースラインのニューラルおよびテンプレート生成手法を提示する。

提案手法

• 二つのソース（RotoWireとSBNation）からの記述レポートと対になったバスケットボールの試合ボックススコアの大規模データセットを構築する。
• 各データレコードを type、entity、value の埋め込みで表現し、これをアテンション型エンコーダ-デコーダモデルに入力する。
• 生成時にデータレコードから値を直接コピーできるコピー機構を組み込む。
• 入力データをカバーするデコーダ表現を促す再構成ベースの損失項を導入する。
• 関係抽出器を用いてContent Selection、Relation Generation、Content Orderingを測定する抽出型評価指標を開発する。
• コピーおよび再構成の有無を含むニューラル生成手法を、テンプレート生成器と比較する。

実験結果

リサーチクエスチョン

• RQ1 ボックススコア記録を条件とした、忠実な多文のスポーツ要約をデータから文書へモデルは生成できるか？
• RQ2 内容の忠実性と全体的な流暢さの観点で、ニューラル生成手法はテンプレートベースのベースラインとどう比較されるか？
• RQ3 抽出型評価指標は、事実の正確性と内容の網羅性に関する人間の判断と一致するか？
• RQ4 コピーと再構成損失は、内容選択と長距離の談話構造にどのような影響を与えるか？
• RQ5 データ駆動型の文書レベル生成における現在のニューラルアプローチの限界は何か？

主な発見

• ニューラルモデルは流暢なテキストを生成する一方で、正確な内容選択と長期的構造には苦戦する。
• コピーベースおよび再構成強化モデルはBLEUや抽出指標を改善するが、人間レベルの出力にはまだ遠い。
• テンプレート生成は一部指標でニューラルモデルを上回ることがあり、ニューラル手法における内容選択のギャップを浮き彫りにする。
• 標準的な自動指標で隠れている忠実性の問題を、抽出型評価フレームワークが明らかにする。
• 条件付きコピーと再構成戦略はニューラルベースラインの中で最も有望だが、それでもゴールドデータには及ばない。