[論文レビュー] Encode, Tag, Realize: High-Precision Text Editing

Eric Malmi, Sebastian Krause+3 more|arXiv (Cornell University)|Sep 3, 2019

Natural Language Processing Techniques参考文献 33被引用数 4

ひとこと要約

LaserTaggerは、3つの編集操作（維持、削除、挿入）を用いて、テキスト生成を系列タギングタスクに再定式化する高精度なテキスト編集モデルです。BERTエンコーダと自己回帰的Transformerデコーダを組み合わせることで、文統合、分割、要約、文法訂正の各タスクにおいて、特に低データ環境下でも最先端の結果を達成し、同等のseq2seqモデルと比較して推論速度が100倍以上速くなります。

ABSTRACT

We propose LaserTagger - a sequence tagging approach that casts text generation as a text editing task. Target texts are reconstructed from the inputs using three main edit operations: keeping a token, deleting it, and adding a phrase before the token. To predict the edit operations, we propose a novel model, which combines a BERT encoder with an autoregressive Transformer decoder. This approach is evaluated on English text on four tasks: sentence fusion, sentence splitting, abstractive summarization, and grammar correction. LaserTagger achieves new state-of-the-art results on three of these tasks, performs comparably to a set of strong seq2seq baselines with a large number of training examples, and outperforms them when the number of examples is limited. Furthermore, we show that at inference time tagging can be more than two orders of magnitude faster than comparable seq2seq models, making it more attractive for running in a live environment.

研究の動機と目的

• 入力出力の重複度が高いテキスト生成タスクにおいて、標準的なseq2seqモデルの非効率さとデータ依存性を解消する。
• テキスト生成を自己回帰的生成ではなく、編集操作の系列として定式化することで、モデルの複雑さと語彙サイズを低減する。
• 性能を維持または上回りながら、文統合、分割、要約、文法訂正などのタスクにおけるデータ効率性と推論速度を向上させる。
• 出力空間を小さな編集タグの集合に制限することで、seq2seqモデルで一般的なハリューシネーションや繰り返しのエラーを低減し、モデルの解釈可能性を向上させる。

提案手法

• 入力トークンの各位置に対して、維持、削除、および前段のトークンの前におけるフレーズの挿入という3つの編集操作を用いて、テキスト生成を系列タギング問題として定式化する。
• 入力系列の文脈的表現を生成するためにBERTエンコーダを用いる。
• 自己回帰的Transformerデコーダ（LaserTagger AR）を適用し、各入力トークンに対して編集タグを予測することで、文脈に依存したタギングを可能にする。
• 2段階パイプラインを実装する：(1) BERTで入力をエンコードし、(2) 学習されたタスク固有のタグ語彙から各トークンに編集操作をタグ付けし、(3) 決定的ルールに基づいて編集操作を適用して出力を実現する。
• 頻出フレーズの挿入と一般的な編集パターンを用いて、学習データからタグ語彙を生成する。
• タグ系列における交差エントロピー損失を用いて、エンドツーエンドでモデルを学習し、効率的かつ制御可能な推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 入力出力の重複度が高いテキスト生成タスクを、最小限の編集操作で系列タギングとして効果的にモデル化できるか？
• RQ2 タギングベースのアプローチは、低データ環境下でも標準的なseq2seqモデルを上回る性能を発揮するのか？
• RQ3 編集タグの制限された出力空間は、ハリューシネーションや繰り返しといったseq2seqモデルの一般的な失敗をどの程度低減するか？
• RQ4 特に生産環境において、タギングモデルの推論速度は自己回帰的seq2seqベースラインと比べてどの程度速いか？
• RQ5 軽量なデコーダを搭載したBERTベースのタッパーは、著しく短縮された推論遅延で競争力のある性能を達成できるか？

主な発見

• LaserTagger ARは、評価された4つのタスクのうち3つ（文統合、文分割、文法訂正）で最先端の性能を達成し、抽象要約タスクにおいても同等の性能を示した。
• 低データ設定（例：10,000例）においても、強力なseq2seqベースラインを上回り、優れたデータ効率性を示した。
• LaserTagger FFは、同等のseq2seq BERTモデルと比較して100倍以上の高速推論を達成し、バッチサイズ1では13ms（対象は1,773ms）を記録した。
• バッチサイズ8においても、LaserTagger ARは12層のseq2seq BERTベースラインと同等または上回る精度を維持しながら、10倍の高速推論を実現した。
• 制限された出力空間のおかげで、seq2seqモデルで一般的なハリューシネーション、架空の単語、繰り返しのフレーズといったエラーが著しく減少した。
• 定性的な分析から、LaserTaggerは急な文の途中終了や誤解を招く言い換えを回避しているのに対し、seq2seqモデルはコアフレンスや早期文の終了で頻繁に失敗することが分かった。