[論文レビュー] DART: Open-Domain Structured Data Record to Text Generation

Linyong Nan, Dragomir Radev+22 more|arXiv (Cornell University)|Jul 6, 2020

Topic Modeling被引用数 33

ひとこと要約

DARTは、Wikipediaの表から派生した三つ組セット形式の大規模なオープンドメインデータセットを導入し、木構造のオントロジーで注釈を付け、事前学習済みモデルがオープンドメインのデータからのテキスト生成とデータ拡張に有益であることを示す。

ABSTRACT

We present DART, an open domain structured DAta Record to Text generation dataset with over 82k instances (DARTs). Data-to-Text annotations can be a costly process, especially when dealing with tables which are the major source of structured data and contain nontrivial structures. To this end, we propose a procedure of extracting semantic triples from tables that encodes their structures by exploiting the semantic dependencies among table headers and the table title. Our dataset construction framework effectively merged heterogeneous sources from open domain semantic parsing and dialogue-act-based meaning representation tasks by utilizing techniques such as: tree ontology annotation, question-answer pair to declarative sentence conversion, and predicate unification, all with minimum post-editing. We present systematic evaluation on DART as well as new state-of-the-art results on WebNLG 2017 to show that DART (1) poses new challenges to existing data-to-text datasets and (2) facilitates out-of-domain generalization. Our data and code can be found at https://github.com/Yale-LILY/dart.

研究の動機と目的

• 平坦な表スキーマとドメイン限定オントロジーを超えたオープンドメインの構造化データに対するデータからテキスト生成を促進する。
• 表のヘッダとタイトルにおける階層的関係を符号化するツリーオントロジー注釈を提案する。
• 接続されたオントロジー支え三つ組と対応する文を抽出して、大規模な注釈付きデータセット（DART）を作成する。
• DARTが既知モデルにもたらす課題を示し、WebNLG 2017上でのデータ拡張効果を評価する。

提案手法

• カラムヘッダと任意のタイトル文脈上にツリー構造のオントロジーを用いてWikipediaの表を注釈づけする。
• オントロジーから連結成分を抽出して各表の行に対して整合的な三つ組セットを形成する。
• 強調されたセルの部分集合を主語-述語-目的語の三つ組に変換し、滑らかな文実現と組み合わせる。
• WikiSQLの質問を自動的に宣言文に変換し、表のセルと対応づけて宣言的三つ組ペアを作成する。
• WebNLG 2017およびCleaned E2Eデータセットを、その意味表現を三つ組と文に変換することで取り入れる。
• DART上で複数のデータ→テキストモデル（注意機構付きLSTM、Transformer、BART、T5）を評価し、WebNLG 2017に対するデータ拡張効果を評価する。

実験結果

リサーチクエスチョン

• RQ1 DARTのオープンドメインでオントロジー構造化された入力は、平坦な構造のデータセットと比較してデータからテキスト生成にどのような影響を与えるのか？
• RQ2 ツリーオントロジーに基づく三つ組は、未知のドメインや表への一般化を改善できるか？
• RQ3 オープンドメインの表における豊富な意味構造の処理のために、事前学習済みモデルはDARTから恩恵を受けるか？
• RQ4 DARTはWebNLG 2017の性能向上のためのデータ拡張に効果的に用いられるか？
• RQ5 DART内で人間が書いた文と自動生成文を含めることが、モデルの品質と一般化にどのような影響を与えるか？

主な発見

モデル	BLEU	METEOR	TER	MoverScore	BERTScore(F1)	BLEURT	PARENT
LSTM with Attention	29.66	0.27	0.63	0.31	0.90	-0.13	0.35
End-to-End Transformer	27.24	0.25	0.65	0.25	0.89	-0.29	0.28
BART-base	47.11	0.38	0.46	0.51	0.95	0.37	0.55
BART-large	48.56	0.39	0.45	0.52	0.95	0.41	0.57
T5-small	47.69	0.39	0.46	0.52	0.95	0.40	0.56
T5-base	49.21	0.40	0.44	0.53	0.95	0.43	0.57
T5-large	50.66	0.40	0.43	0.54	0.95	0.44	0.58

• 事前学習モデル（特に T5-large）が DART で最も高い BLEU（50.66）を達成し、一般に大きなモデルほど性能が良い。
• 事前学習モデルは高品質なテキストを生成しがちだが、オープンドメインでオントロジーが豊富な入力では幻視的になることがある。
• T5-largeを用いた場合、DARTのインスタンスでWebNLG 2017の訓練を拡張すると、seen/未見/全スプリットを通じて新しい最先端の結果を達成する。
• DARTベースのデータ拡張は、複数のアーキテクチャにわたってWebNLG 2017のモデル性能を一貫して改善する。
• 人間が作成したDART文は、宣言的な自動生成文よりも大きな改善をもたらし、特に未知のテスト分割で顕著である。
• DARTはWebNLGとE2Eの区分よりも述語・三つ組・語彙の多様性が高く、より豊かなドメインカバレージを示している。