[論文レビュー] Order-Planning Neural Text Generation From Structured Data

Lei Sha, Lili Mou+5 more|arXiv (Cornell University)|Sep 1, 2017

Natural Language Processing Techniques被引用数 13

ひとこと要約

本稿では、DNCのメモリアドレッシングにインspiredされた微分可能リンク行列を用いて最適なコンテンツ順序を学習することで、表形式データからのテキスト生成における自然な表現の質を向上させる、順序計画型ニューラルテキスト生成モデルを提案する。このモデルは、WikiBioで先行手法を上回り、BLEU、ROUGE、NISTスコアにおいて最先端の結果を達成した。

ABSTRACT

Generating texts from structured data (e.g., a table) is important for various natural language processing tasks such as question answering and dialog systems. In recent studies, researchers use neural language models and encoder-decoder frameworks for table-to-text generation. However, these neural network-based approaches do not model the order of contents during text generation. When a human writes a summary based on a given table, he or she would probably consider the content order before wording. In a biography, for example, the nationality of a person is typically mentioned before occupation in a biography. In this paper, we propose an order-planning text generation model to capture the relationship between different fields and use such relationship to make the generated text more fluent and smooth. We conducted experiments on the WikiBio dataset and achieve significantly higher performance than previous methods in terms of BLEU, ROUGE, and NIST scores.

研究の動機と目的

• 構造化データからのニューラルテキスト生成における明示的なコンテンツ順序の欠如が、自然でない、人間らしくない出力をもたらすという問題に取り組む。
• 人物伝などにおいて、国籍が職業の前に来るなどの、表項目間の関係的依存関係をモデル化し、一貫性のあるテキスト生成を支援する。
• 生成プロセスにおける項目の提示順序を決定する計画メカニズムを学習することで、テキストの自然さと一貫性を向上させる。
• コンテンツベースのアテンションと学習された項目間遷移リンクを統合する微分可能でエンドツーエンド学習可能なメカニズムを統合する。
• 計画フレームワークにコピーメカニズムを組み込むことで、希少語や未知語（OOV語）の処理能力を向上させる。

提案手法

• モデルは、項目名と値を順序付き入力として扱い、LSTMベースのエンコーダーを用いて表の構造を捉える。
• ハイブリッドディスパッチャ機構は、コンテンツベースのアテンションと、項目間の遷移行列から導出されるリンクベースのアテンションを組み合わせてアテンションを計算する。
• リンク行列は、ある項目が別の項目の後に提示される確率をモデル化し、人間らしいコンテンツ計画を模倣する。
• 自己適応ゲートがコンテンツベースとリンクベースのアテンションスコアのバランスを動的に制御し、次に生成する項目をガイドする。
• デコーダーはポインタジェネレータアテンションとコピーメカニズムを備えたRNNを用い、入力表から希少語やOOV語をコピーすることで処理する。
• モデル全体が微分可能であり、計画（項目順序）と実現（語の生成）の両コンponentをエンドツーエンドで学習可能である。

実験結果

リサーチクエスチョン

• RQ1 表形式データからのテキスト生成において、項目順序を明示的にモデル化することで、生成テキストの自然さと一貫性が向上するか？
• RQ2 項目間の学習されたリンク行列は、単純な項目埋め込みと比較して、生成品質にどのような差をもたらすか？
• RQ3 コンテンツベースとリンクベースのアテンションを組み合わせることで、テキスト生成ベンチマークでの性能がどの程度向上するか？
• RQ4 コピーメカニズムの統合により、モデルの希少語や未観測語の処理能力が向上するか？
• RQ5 提案モデルのアテンションパターンは、人間のテキスト生成行動に類似した計画行動をどのように反映しているか？

主な発見

• 提案された順序計画モデルは、WikiBioデータセットにおいて最先端の性能を達成し、BLEU、ROUGE、NISTスコアで先行手法を上回った。
• アブレーションスタディにより、ハイブリッドアテンション機構とコピーメカニズムの両方が性能向上に顕著な寄与をしていることが確認された。
• リンクベースのアテンション機構は、人物伝において国籍を職業の前に配置するなど、項目遷移パターンを効果的に学習した。
• アテンションスコアの可視化から、モデルが入力順ではなく意味的関係に基づいて項目を優先する学習をしたことが示された。
• 多様な人物伝エントリに対して一貫した性能向上が得られ、自然さと事実の整合性の両面で優れた結果を示した。
• 自己適応ゲートを備えたハイブリッドアテンション機構は、純粋なコンテンツベースまたはリンクベースのアプローチを上回った。