[論文レビュー] Neural CRF Model for Sentence Alignment in Text Simplification

Chao Jiang, Mounica Maddela+3 more|arXiv (Cornell University)|May 5, 2020

Text Readability and Simplification参考文献 54被引用数 4

ひとこと要約

本稿では、文脈的類似性を捉えるために微調整されたBERTとCRFデコードを組み合わせることで、文単位の文書簡素化における翻訳文対応付けのためのニューラルCRFモデルを提案する。この手法は、先行研究よりも5 F1ポイント以上の向上を達成し、Newsela-AutoおよびWiki-Autoという2つの新しい高品質データセットの作成を可能にした。これらのデータセットを用いて、BERT初期化されたTransformerモデルを学習させたところ、文書簡素化の性能で新たなSOTAを達成した。

ABSTRACT

The success of a text simplification system heavily depends on the quality and quantity of complex-simple sentence pairs in the training corpus, which are extracted by aligning sentences between parallel articles. To evaluate and improve sentence alignment quality, we create two manually annotated sentence-aligned datasets from two commonly used text simplification corpora, Newsela and Wikipedia. We propose a novel neural CRF alignment model which not only leverages the sequential nature of sentences in parallel documents but also utilizes a neural sentence pair model to capture semantic similarity. Experiments demonstrate that our proposed approach outperforms all the previous work on monolingual sentence alignment task by more than 5 points in F1. We apply our CRF aligner to construct two new text simplification datasets, Newsela-Auto and Wiki-Auto, which are much larger and of better quality compared to the existing datasets. A Transformer-based seq2seq model trained on our datasets establishes a new state-of-the-art for text simplification in both automatic and human evaluation.

研究の動機と目的

• 既存の文書簡素化データセットの品質が低く、サイズが限定されている問題に対処する。これは、表層的類似度指標に依存しているため、意味的パラフレーズを捉えられていないことが原因である。
• 文書対の複雑文・簡素文ペアにおける意味的類似性と順序構造の両方を捉える、より正確な文対応付け手法を開発する。
• 提案された対応付けモデルを大規模に適用することで、文書簡素化のための新しい高品質な学習データセットを構築する。
• 新規データセットを用いて、SOTAの文書簡素化モデルを学習し、自動評価および人的評価の両方でその性能を評価する。
• 最初の高品質で手動アノテーション済みのデータセット（Newsela-ManualおよびWiki-Manual）を構築することで、モノリンガル文対応付けの体系的かつ包括的な研究を可能にする。

提案手法

• モデルは、並列ドキュメント内の文の間の順序的依存関係を活用するため、ニューラルCRFフレームワークを用いて文対応付けを統合的にモデル化する。
• 文のペアのための濃密な意味的表現を計算するために、微調整されたBERTモデルを採用し、語彙的オーバーラップを超えたパラフレーズや意味的同等性を捉える。
• まず段落レベルの対応付けアルゴリズムを適用し、意味的類似度と近接性を用いて対応する段落をあらかじめ対応付ける。
• CRF層は、一対一または一対多の対応付け、および一貫性のある編集操作（例：分割や拡張）を保証するため、構造的制約（例：単調性）を強制する。
• 手動アノテーション済みのNewsela-ManualおよびWiki-Manualデータセット上で、エンドツーエンドに学習させることで、対応付けのパターンを学習する。
• 訓練済みモデルを大規模に適用し、1,882件のNewselaアーティクルセットおよび138,095組のWikipediaアーティクルペアに適用することで、Newsela-AutoおよびWiki-Autoデータセットを構築した。

実験結果

リサーチクエスチョン

• RQ1 BERTベースの意味的類似度と系列モデルを組み合わせたニューラルCRFモデルは、従来の表層的類似度手法を上回る性能を示すか？
• RQ2 提案された対応付けモデルは、文書簡素化の学習データの質と多様性をどの程度向上させるか？
• RQ3 新しく構築されたデータセットを用いて、Transformerベースの文書簡素化モデルを学習させた場合、自動評価および人的評価の両方で性能が向上するか？
• RQ4 本モデルは、既存の低品質なデータセットで学習されたモデルと比較して、どの程度パラフレージングを正確に捉えられるか？
• RQ5 提案された対応付け手法は、大規模で現実世界の文書簡素化コーパスに効果的にスケーリング可能か？

主な発見

• 提案されたニューラルCRFモデルは、ベンチマーク評価において、すべての先行するモノリンガル文対応付け手法を5 F1ポイント以上上回った。
• 新規のNewsela-Autoデータセットを用いてBERT初期化されたTransformerモデルを学習したところ、元のNewselaデータセットを用いた場合と比較してSARIスコアが3.4%絶対値で向上した。
• Newsela-Autoデータセットで学習したTransformerモデルは、元のNewselaデータセットで学習したモデルと比較して、25%多くのパラフレージングと削除操作を生成しており、生成における言語的多様性が向上していることを示している。
• 新規データセットであるNewsela-Auto（666,645文ペア）およびWiki-Auto（488,332文ペア）は、それぞれ既存の対応するデータセットの4.7倍および1.6倍の規模である。
• 人的評価では、新規データセットで学習したモデルが、SOTAシステムと比較して顕著に優れた文の自然さ、適切さ、全体的な品質を達成した。
• 50件のNewselaアーティクルセットおよび500件のWikipediaアーティクルペア（Newsela-ManualおよびWiki-Manual）の手動アノテーションにより、文対応付けモデルの学習および評価のための最初の高品質なベンチマークが提供された。