[論文レビュー] Few-Shot NLG with Pre-Trained Language Model

Zhiyu Chen, Harini Eavani+3 more|arXiv (Cornell University)|Apr 21, 2019

Topic Modeling参考文献 24被引用数 6

ひとこと要約

本稿では、50〜200件のラベル付き例のみを用いて構造化データから高品質なテキストを生成する必要がある、新しいタスクである少サンプル自然言語生成（NLG）を紹介する。本稿では、事前学習済み言語モデルと学習可能なコピースイッチ機構を組み合わせた単純ながらも効果的な手法を提案し、表からの事実を的確に抽出して流れの良い、事実に基づいた文を生成する。この手法により、最小限のデータで強力なベースラインを8.0以上のBLEUポイント上回る平均的な向上を達成した。

ABSTRACT

Neural-based end-to-end approaches to natural language generation (NLG) from structured data or knowledge are data-hungry, making their adoption for real-world applications difficult with limited data. In this work, we propose the new task of extit{few-shot natural language generation}. Motivated by how humans tend to summarize tabular data, we propose a simple yet effective approach and show that it not only demonstrates strong performance but also provides good generalization across domains. The design of the model architecture is based on two aspects: content selection from input data and language modeling to compose coherent sentences, which can be acquired from prior knowledge. With just 200 training examples, across multiple domains, we show that our approach achieves very reasonable performances and outperforms the strongest baseline by an average of over 8.0 BLEU points improvement. Our code and data can be found at \url{https://github.com/czyssrs/Few-Shot-NLG}

研究の動機と目的

• 実世界での展開に大規模なアノテート済みデータを必要とするニューラルNLGシステムのデータ集約的特性に対処すること。
• 50〜200件のラベル付き例でのみ高品質なテキストを生成できるようにする、新しい研究課題「少サンプルNLG」を定式化すること。
• 事前学習済み言語モデルを文の自然な生成のための事前知識として活用することで、人為的アノテーション作業を削減すること。
• 学習可能なスイッチ機構を用いてコンテンツ選択と言語モデリングを分離することで、ドメイン間の一般化を向上させること。
• 極めて少ないデータ環境下でも、大規模なドメイン特化モデルのファインチューニングなしに強力な性能を達成できることを示すこと。

提案手法

• 生成器として、自然で一貫性のある文の形成に強力な事前知識を提供する事前学習済み言語モデル（例：GPTスタイル）を用いる。
• モデルが言語モデルのパラメータからテキストを生成するか、入力テーブル値から直接コピーモードに切り替えるかを制御する、学習可能なコピースイッチ機構を導入する。
• コピースイッチは、適切な場面で表からの事実をコピーモードに切り替えるよう促す、コピーロス項 $p_{ ext{copy}}$ を用いて学習される。
• モデルアーキテクチャはシンプルで、学習可能なパラメータが最小限であるため、少サンプル学習の設定に適している。
• コンテンツ選択と文の構成が、小規模なラベル付きデータセット上でエンドツーエンドの学習により共同最適化される。
• マルチドメインのウィキペディアベースのテーブルtoテキストデータセットを用いて、複数のドメインに応用可能であり、ゼロショット一般化を可能にした。

実験結果

リサーチクエスチョン

• RQ1 50〜200件のラベル付きトレーニング例でのみ、ニューラルNLGモデルが妥当な性能を達成できるか？
• RQ2 事前学習済み言語モデルが、NLGにおけるデータ依存性を低減する有効な事前知識として機能できるか？
• RQ3 学習可能なコピースイッチ機構が、少サンプルNLGにおける事実の整合性と自然さを向上させるか？
• RQ4 本手法は、極めて少ないデータで多様なドメインに一般化できるか？
• RQ5 極めてリソースが限られた環境下でも、大規模なトレーニングデータに依存する強力なベースラインを上回ることができるか？

主な発見

• 200件のトレーニング例でのみ、本手法はHumansドメインで平均BLEU-4スコア36.1を達成し、最も強いベースラインを8.0以上のBLEUポイント以上上回った。
• コピーロス項 $p_{ ext{copy}}$ は、トレーニングデータサイズの変動に関わらず、平均4.0 BLEUポイントの性能向上をもたらし、誤った事実や架空の内容の生成を顕著に削減した。
• WikiBioデータセットでは、200件の例で25.4のBLEUを達成し、大規模なターゲット側データを用いたPivotモデル（16.8 BLEU）を上回った。
• 人的評価では、モデルが1サンプルあたり平均3.64件の支持的事実を生成した（最も強いベースラインは2.57件）、誤反論的事実は1.12件にとどまり、事実の正確性が非常に高いことが示された。
• コピーロスを含まないモデルは言語の自然さでわずかに優れていた（1.63 vs. 1.59）、が、コピーロスは事実の整合性を顕著に向上させ、NLGにおいて極めて重要であることがわかった。
• 本手法はドメイン間で良好な一般化を示し、構造的複雑さとデータ要件が最小限であるにもかかわらず、強いゼロショット転送性能を示した。