[論文レビュー] Improving Neural Text Simplification Model with Simplified Corpora

Jipeng Qiang|arXiv (Cornell University)|Oct 10, 2018

Text Readability and Simplification参考文献 11被引用数 6

ひとこと要約

この論文は、ネットワークアーキテクチャを変更せずに大規模な簡素化コーパスを活用することで、ニューラルテキスト簡素化（NTS）モデルの性能を向上させるバックトランスレーションベースの手法を提案する。簡素化された文から合成された通常文ペアを生成することで、WikiLargeでBLEU（+2.11）、SARI（+1.07）、FKGL（-1.7）が向上し、新しいSOTA結果を達成した。これは、バックトランスレーションを用いることで、簡素化コーパスがNTSの性能向上に効果的に寄与できることを示している。

ABSTRACT

Text simplification (TS) can be viewed as monolingual translation task, translating between text variations within a single language. Recent neural TS models draw on insights from neural machine translation to learn lexical simplification and content reduction using encoder-decoder model. But different from neural machine translation, we cannot obtain enough ordinary and simplified sentence pairs for TS, which are expensive and time-consuming to build. Target-side simplified sentences plays an important role in boosting fluency for statistical TS, and we investigate the use of simplified sentences to train, with no changes to the network architecture. We propose to pair simple training sentence with a synthetic ordinary sentence via back-translation, and treating this synthetic data as additional training data. We train encoder-decoder model using synthetic sentence pairs and original sentence pairs, which can obtain substantial improvements on the available WikiLarge data and WikiSmall data compared with the state-of-the-art methods.

研究の動機と目的

• ニューラルテキスト簡素化（NTS）における並列の通常文・簡素化文ペアの不足に取り組むために、大規模な簡素化コーパスを活用すること。
• ニューラルネットワークアーキテクチャを変更せずにNTSモデルの性能を向上させること。
• NMTベースのテキスト簡素化において、簡素化コーパスが文の流れや簡素化の質を向上させられるかどうかを調査すること。
• 簡素化された文から合成された訓練データの作成にバックトランスレーションがどの程度有効であるかを検討すること。
• 既存のNTSフレームワークに簡素化コーパスを統合するための単純で移植可能な手法を確立すること。

提案手法

• 事前学習済みのNMTモデルを用いて、10万件のランダムに抽出された簡素化文をバックトランスレーションすることで、合成された通常文ペアを生成する。
• 合成された文ペアを元の並列訓練データと組み合わせ、NMTモデルを共同で訓練する。
• アテンションベースのエンコーダデコーダアーキテクチャ、LSTM層、標準的なハイパーパrameterを用いたOpenNMTフレームワークでNMTモデルを訓練する。
• このアプローチでは、バックトランスレーションされた文を追加の訓練データとして扱い、訓練データのサイズと多様性を効果的に拡大する。
• 基本となるNMTモデルにアーキテクチャの変更は加えず、既存のNTSシステムと互換性がある。
• 実際の並列データと合成データを混合して訓練することで、汎化性能と簡素化品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 並列データが不足する状況において、簡素化コーパスを効果的に活用することでニューラルテキスト簡素化モデルの性能を向上させられるか？
• RQ2 簡素化された文を通常文にバックトランスレーションすることで、NTSの性能に有意義な改善が得られるか？
• RQ3 アーキテクチャの変更なしに、簡素化コーパスから得た合成データの統合が、既存のSOTA手法を上回る性能を発揮できるか？
• RQ4 簡素化コーパスの統合が、生成されたテキストの自然さ、文法的正しさ、簡素さにどのような影響を与えるか？
• RQ5 この手法は、WikiLargeやWikiSmallのような異なるデータセットに対しても汎用性を示せるか？

主な発見

• WikiLargeデータセットでは、NMT+syntheticモデルがベースラインNMTモデルに対して2.11 BLEUポイントの向上を達成した。
• NMT+syntheticモデルは、Flesch-Kincaid Grade Level（FKGL）を1.7ポイント低減し、読みやすさの向上を示した。
• ベースラインモデルと比較して、SARIスコアが1.07ポイント向上し、意味の保持が改善したことを示した。
• 人的評価では、NMT+syntheticモデルの簡素さスコアが+0.42と、PBMT-R、Dress、SBMT-SARIを著しく上回った。
• WikiSmallでは、ベースラインNMTモデルに対して6.37 BLEUポイントの向上を達成し、小さなデータセットでも顕著な向上が得られた。
• NMT+syntheticモデルは、WikiLargeおよびWikiSmallの両方で新しいSOTA結果を達成し、Dress や SBMT-SARI といった以前に報告された最先端モデルを上回った。