[論文レビュー] Two Birds, One Stone: A Simple, Unified Model for Text Generation from Structured and Unstructured Data

Hamidreza Shahidi, Ming Li+1 more|arXiv (Cornell University)|Sep 23, 2019

Topic Modeling参考文献 39被引用数 4

ひとこと要約

この論文では、指数移動平均（EMA）を用いて訓練される、注意機構とコピーメカニズムを備えた単純で統合的なシーケンス・ツー・シーケンスモデルを提案し、構造化済み（テーブル）および非構造化（記述文）データからのテキスト生成を実現する。その単純さにもかかわらず、ニューラルテーブル・トゥ・テキスト生成およびニューラル質問生成の両タスクで最先端の性能を達成しており、モデルが丁寧にチューニングされれば、アーキテクチャの複雑さは高性能を達成するための必要条件ではないことを示している。

ABSTRACT

A number of researchers have recently questioned the necessity of increasingly complex neural network (NN) architectures. In particular, several recent papers have shown that simpler, properly tuned models are at least competitive across several NLP tasks. In this work, we show that this is also the case for text generation from structured and unstructured data. We consider neural table-to-text generation and neural question generation (NQG) tasks for text generation from structured and unstructured data, respectively. Table-to-text generation aims to generate a description based on a given table, and NQG is the task of generating a question from a given passage where the generated question can be answered by a certain sub-span of the passage using NN models. Experimental results demonstrate that a basic attention-based seq2seq model trained with the exponential moving average technique achieves the state of the art in both tasks. Code is available at https://github.com/h-shahidi/2birds-gen.

研究の動機と目的

• 構造的および非構造的データからのテキスト生成に、ますます複雑化するニューラルアーキテクチャが本当に必要かどうかを調査すること。
• 単純でよくチューニングされたモデルが、テキスト生成タスクで複雑なモデルを上回るか同等の性能を発揮するかどうかを評価すること。
• テーブル（構造的）および記述文（非構造的）からのテキスト生成を、同一のモデルアーキテクチャで統合すること。
• NLPにおける複雑なモデルのパフォーマンス向上が、アーキテクチャの革新ではなく、単純なモデルのハイパーパrameterチューニングによるものである可能性を示すこと。
• 最近のNLP分野におけるアーキテクチャの複雑化トレンドに反論し、EMAを用いた単純なモデルが最先端の結果を達成できることを示すこと。

提案手法

• 両タスクのコアアーキテクチャとして、双方向で注意機構を備えたシーケンス・ツー・シーケンスモデルが使用される。
• OOV（語彙外）語、特にエンティティ名やレア語の処理に役立つコピーメカニズムがモデルに組み込まれている。
• 訓練中に指数移動平均（EMA）が適用され、モデル重みの安定化と一般化性能の向上が図られている。
• 分野および位置埋め込みが単語埋め込みと連結され、構造化済みテーブルデータを表現するのに使用されている。
• 両タスクのデコードに、ビームサイズ20および長さペナルティ1.75のビームサーチが使用されている。
• ドロップアウト（異なるスプリットで0.1および0.3）を用い、最大20エポックまで訓練されており、Songら（2018）の共有語彙が使用されている。

実験結果

リサーチクエスチョン

• RQ1 単純で統合的なニューラルシーケンス・ツー・シーケンスモデルが、テーブル・トゥ・テキスト生成および質問生成の両タスクで最先端の性能を達成できるか？
• RQ2 アーキテクチャの複雑さを伴わずに、指数移動平均（EMA）の使用がこれらのタスクで顕著な性能向上をもたらすか？
• RQ3 NLPにおける複雑なモデルのパフォーマンス向上は、主にアーキテクチャ設計にあるのか、それとも単純なモデルのハイパーパrameterチューニングによるものなのか？
• RQ4 明示的な言語的特徴やタスク固有のモジュールを持たないモデルでも、構造的および非構造的データからのテキスト生成でSOTA結果を達成できるか？
• RQ5 最近のモデルにおけるアーキテクチャの革新が、基本的なモデルの丁寧なチューニングに比べてどれほど小さな利点をもたらすのか？

主な発見

• 提案された単純なseq2seqモデルにEMAを適用した結果、SQuADデータセットにおけるニューラル質問生成タスクで最先端の結果を達成し、スプリット-2でROUGE-Lスコア45.18 ± 0.22を達成した。
• WikiBioデータセットにおけるテーブル・トゥ・テキスト生成タスクでは、EMAを適用した場合、BLEU-4スコア46.76 ± 0.03およびROUGE-4スコア43.54 ± 0.07を達成した。
• タスク固有のモジュールを備えないにもかかわらず、Liuら（2019b）およびKimら（2019）の複雑な先行モデルを上回る性能を発揮した。
• EMA技術により顕著な性能向上が見られ、NQGではROUGE-Lスコアが1.36ポイント上昇し、テーブル・トゥ・テキスト生成ではBLEU-4スコアが0.69ポイント上昇した。
• SQuADスプリット-2では、BLEU-4（16.14 ± 0.25）およびMETEOR（20.44 ± 0.20）の競争力あるスコアを達成し、多数の先行研究を上回った。
• これらの結果から、アーキテクチャの複雑さがSOTA性能の前提条件ではないことが示され、単純なモデルの丁寧なチューニングにより優れた結果が得られることを示唆している。