[論文レビュー] Neural Data-to-Text Generation via Jointly Learning the Segmentation and Correspondence

Xiaoyu Shen, Ernie Chang+3 more|arXiv (Cornell University)|May 3, 2020

Topic Modeling参考文献 65被引用数 10

ひとこと要約

この論文は、潜在変数としてセグメンテーションとデータ対テキストの対応関係を同時に学習するニューラルデータからテキストへの生成モデルを提案している。これにより、解釈可能でホワリケーションが少なく、計算コストも削減された出力を実現する。生成をセグメント単位で行い、各セグメントを明示的に1つのデータレコードに対応付けることで、E2EおよびWebNLGベンチマークで最先端の性能を達成し、事実の誤りがゼロで、情報の欠落や繰り返しも最小限に抑えられる。

ABSTRACT

The neural attention model has achieved great success in data-to-text generation tasks. Though usually excelling at producing fluent text, it suffers from the problem of information missing, repetition and "hallucination". Due to the black-box nature of the neural attention architecture, avoiding these problems in a systematic way is non-trivial. To address this concern, we propose to explicitly segment target text into fragment units and align them with their data correspondences. The segmentation and correspondence are jointly learned as latent variables without any human annotations. We further impose a soft statistical constraint to regularize the segmental granularity. The resulting architecture maintains the same expressive power as neural attention models, while being able to generate fully interpretable outputs with several times less computational cost. On both E2E and WebNLG benchmarks, we show the proposed model consistently outperforms its neural attention counterparts.

研究の動機と目的

• ニューラルアテンションベースのデータからテキストへのモデルにおける解釈不能性と高いホワリケーション率の問題に対処する。
• エラーの検出や制御が難しいアテンション機構のブラックボックス性を克服する。
• 人為的セグメンテーションやアライメントに依存せずに、計算コストを低減し、構造的制御を向上させる。
• 生成されたテキストセグメントと入力データレコードの明示的で検証可能な対応関係を可能にし、信頼性を向上させる。
• エンド・ツー・エンドの学習と潜在的構造の誘導により、高自然さと多様性を維持しながら、情報の欠落や繰り返しを最小限に抑える。

提案手法

• 各セグメントを1つの選択されたデータレコードにのみアテンションするように、テキスト生成をセグメントの系列としてモデル化する。
• 人為的アノテーションを用いずに、トレーニング中にセグメンテーションと対応関係を潜在変数として同時に学習する。
• 動的計画法を用いて、すべての可能なセグメンテーションとアライメントの周辺化を効率的に行い、多項式時間で尤度を最大化する。
• セグメント間の依存関係をモデル化するための自己回帰的ニューラルネットワークを統合しつつ、推論の tractability を保つ。
• セグメントの粒度を制御し、過度に細かすぎたり粗すぎたりする分割を防ぐために、ソフトな統計的制約を用いた事後正則化を適用する。
• 各セグメントに関連するデータレコードを監視することで、制約付きデコードを可能にし、ヒューリスティックルールやユーザー制約の容易な統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 セグメンテーションと対応関係の共同学習が、ニューラルデータからテキストへの生成における解釈可能性の向上とホワリケーションの低減に寄与するか。
• RQ2 標準的なニューラルアテンションモデルと比較して、本モデルは自然さ、事実的一致性、計算効率の観点でどのように異なるか。
• RQ3 明示的な構造を備えた本モデルは、出力コンテンツの制御をどの程度向上させ、繰り返しや情報欠落を低減できるか。
• RQ4 本モデルは、ルールベースのシステムと同等の事実的正確性を達成しつつ、ニューラルモデルの自然さを維持できるか。
• RQ5 解釈可能なセグメントレベル構造を活用したデコード制約は、繰り返しや欠落した事実の低減にどの程度効果的か。

主な発見

• E2Eベンチマークにおいて、本モデルは事実の誤りがゼロで、すべてのニューラルベースラインを上回り、ルールベースシステムと同等の事実的正確性を達成した。
• E2Eにおいて、(+RM)制約を適用することで、情報欠落をゼロにまで低減し、繰り返しもわずか2件にまで抑え、標準的なseq2seqモデルを著しく上回った。
• WebNLGにおいて、本モデルは高い自動評価スコアを維持しながら、優れた情報適正性と多様性を達成し、(+RM)制約下でわずか5件の欠落事例にとどまった。
• WebNLGにおいて、(+R)デコード制約を適用することで、繰り返しの件数を19件から2件にまで削減し、構造に配慮した制御の有効性を示した。
• 各セグメントごとの局所的アテンションにより、全入力アテンションを必要とする標準的なアテンションベースのモデルと比較して、数倍の計算効率が向上した。
• アテンションマップの可視化により、本モデルのアテンションが個々のデータレコードに明確に集中しているのを確認した。これに対して、標準的なseq2seqモデルでは広がったアテンションが生じ、ホワリケーションを引き起こす原因となっていた。