[論文レビュー] Parallel Iterative Edit Models for Local Sequence Transduction

Abhijeet Awasthi, Sunita Sarawagi+3 more|arXiv (Cornell University)|Oct 7, 2019

Natural Language Processing Techniques参考文献 36被引用数 6

ひとこと要約

この論文は、文法的誤り訂正（GEC）のようなローカルシーケンス変換タスク向けに、非自己回帰的シーケンスラベル付け手法であるParallel Iterative Edit（PIE）モデルを提案する。入力トークンに対して編集操作（例：コピー、追加、置換）を予測し、反復的に予測を改善することで、BERTのログィットを編集とその引数に因数分解することにより、自己回帰的モデルと比較して5〜15倍の高速化を達成しながら、準SOTAの精度を実現する。

ABSTRACT

We present a Parallel Iterative Edit (PIE) model for the problem of local sequence transduction arising in tasks like Grammatical error correction (GEC). Recent approaches are based on the popular encoder-decoder (ED) model for sequence to sequence learning. The ED model auto-regressively captures full dependency among output tokens but is slow due to sequential decoding. The PIE model does parallel decoding, giving up the advantage of modelling full dependency in the output, yet it achieves accuracy competitive with the ED model for four reasons: 1.~predicting edits instead of tokens, 2.~labeling sequences instead of generating sequences, 3.~iteratively refining predictions to capture dependencies, and 4.~factorizing logits over edits and their token argument to harness pre-trained language models like BERT. Experiments on tasks spanning GEC, OCR correction and spell correction demonstrate that the PIE model is an accurate and significantly faster alternative for local sequence transduction.

研究の動機と目的

• GECのようなローカルシーケンス変換タスクにおける自己回帰的エンコーダーデコーダーモデルの高い推論遅延を解消すること。
• 逐次生成を伴わずに競争力のある精度を維持する、高速で並列デコード可能な代替手法を開発すること。
• シーケンス変換を入力トークン上のインプレース編集ラベル付け問題に再定式化することで、複雑さを低減し、効率を向上させること。
• 非自己回帰的編集予測フレームワークにおいて、事前学習された双方向言語モデル（例：BERT）を効果的に活用すること。
• 反復的改善と編集空間の因数分解が、自己回帰的生成なしに依存関係を捉えるのにどの程度有効であるかを示すこと。

提案手法

• モデルは、出力トークンを生成するのではなく、各入力トークンに編集操作（例：コピー、追加、置換）をラベル付けするシーケンスラベルリングタスクとしてローカルシーケンス変換を定式化する。
• トークンに一般化可能なコンactな編集空間を用い、より高い精度を得るための挿入と前処理の操作を統合した複合編集を含む。
• 自身の予測を複数ラウンドにわたりネットワークに再帰的にフィードバックすることで、反復的改善を実行する。
• 最終的なログィット層を編集タイプとそのトークン引数に因数分解し、事前学習済みBERT風の双方向エンコーダーの有効活用を可能にする。
• すべての編集を同時に予測することで並列デコードを可能にし、推論時間を顕著に短縮する。
• 一般化を高めるために、大規模な正しく整形された文のコーパスを用いて言語モデル部を事前学習する。

実験結果

リサーチクエスチョン

• RQ1 非自己回帰的かつ並列デコード可能なモデルは、GECのようなローカルシーケンス変換タスクで自己回帰的モデルと同等の精度を達成できるか？
• RQ2 出力トークンの代わりに編集操作を予測することは、モデルの複雑さを低減し、推論速度を向上させるのにどの程度有効か？
• RQ3 完全な自己回帰的依存関係モデリングの欠如を補うために、反復的改善はどの程度効果的か？
• RQ4 BERTのような事前学習済み双方向言語モデルは、ログィットの因数分解を介して編集予測に効果的に適応可能か？
• RQ5 GEC、OCR補正、スペル補正の各タスクにおいて、提案手法は既存のSOTAモデルと比較して速度と精度の両面で優れているか？

主な発見

• PIEモデルは、Lichtargeら（2019）のビームサーチを用いる競合モデルと比較して、推論速度が5〜15倍速い。
• 標準的なGECデータセットにおいて、PIEは準SOTAの性能を達成し、自己回帰的モデルと同等または非常に近い精度を実現する。
• 挿入を前処理の操作と統合した複合編集を用いることで、独立して挿入を予測する手法よりも高い精度が得られる。
• 反復的改善により、編集間の依存関係を暗黙的にモデル化でき、予測品質が顕著に向上する。
• BERTのログィットを編集タイプとその引数に因数分解することで、編集予測に双方向的文脈を効果的に活用できる。
• OCR補正およびスペル補正タスクにおいても、モデルは強力な一般化性能を示し、特定に設計された既存のモデルを上回るか同等の性能を発揮する。