[論文レビュー] Integrating Transformer and Paraphrase Rules for Sentence Simplification

Sanqiang Zhao, Rui Meng+3 more|arXiv (Cornell University)|Oct 26, 2018

Text Readability and Simplification参考文献 15被引用数 14

ひとこと要約

本論文では、多層・多ヘッドアテンションアーキテクチャと外部知識ベース（Simple PPDB）を統合することで文の簡略化を向上させる、新しいニューラルネットワークモデルDMASS+DCSSを提案する。簡略化ルールの専用メモリと内部のパrameterizedルール学習を組み合わせることで、SARIスコアおよびルール利用率の両面で最先端の性能を達成し、既存手法よりも精度とルールカバレッジの両面で優れている。

ABSTRACT

Sentence simplification aims to reduce the complexity of a sentence while retaining its original meaning. Current models for sentence simplification adopted ideas from ma- chine translation studies and implicitly learned simplification mapping rules from normal- simple sentence pairs. In this paper, we explore a novel model based on a multi-layer and multi-head attention architecture and we pro- pose two innovative approaches to integrate the Simple PPDB (A Paraphrase Database for Simplification), an external paraphrase knowledge base for simplification that covers a wide range of real-world simplification rules. The experiments show that the integration provides two major benefits: (1) the integrated model outperforms multiple state- of-the-art baseline models for sentence simplification in the literature (2) through analysis of the rule utilization, the model seeks to select more accurate simplification rules. The code and models used in the paper are available at https://github.com/ Sanqiang/text_simplification.

研究の動機と目的

• 訓練データが不足しているため、ニューラルネットワークが低頻度の簡略化ルールを学習する能力に制限があることに対処すること。
• Simple PPDB知識ベースから人間がキュレートした簡略化ルールをニューラルモデルに統合することで、文の簡略化性能を向上させること。
• 外部メモリと内部パrameter化されたルールが併用されることで、文の簡略化におけるルールの再現率と正確性が向上するかどうかを検討すること。
• メモリアーキテクチャとクリティックベース学習のハイブリッドアプローチが、一般化性能とルール適用の正確性を向上させることを示すこと。

提案手法

• モデルは、Vaswaniら（2017年）のインスピレーションを受けて、入力文の関連語をより適切に注目できるように、多層・多ヘッドアテンション機構を採用する。
• DMASSアプローチは、Simple PPDBからの簡略化ルールを格納・取得する外部メモリコンponentを導入し、デコード中に明示的なルールアクセスを可能にする。
• DCSSアプローチは、簡略化ルールをモデルの共有パラメータに直接統合するため、変更された損失関数を用いて頻度の低いルールの学習を促進する。
• 統合されたDMASS+DCSSモデルは、外部メモリと内部パrameter化の両方を活用し、ルールの再現率と正確性のバランスを取る。
• モデルは通常の簡略化文ペアで学習され、SARIスコアとルール利用度という指標で評価される。
• ビームサーチ（異なるサイズで）を用いて、単語の簡略化正確性およびルール適用への影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 外部パラフレーズ知識ベース（Simple PPDB）を統合することで、ニューラル文の簡略化モデルの性能が向上するか？
• RQ2 簡略化ルールを格納する専用メモリを用いることで、内部パrameter化のみに依存する場合と比較してモデル性能が向上するか？
• RQ3 明示的なルール統合が、頻度の高いルールと低頻度のルールの両方の適用能力にどのように影響するか？
• RQ4 ビームサーチサイズが、ルール利用度および簡略化正確性にどの程度影響を与えるか？
• RQ5 外部メモリと内部ルール学習を併用するハイブリッドアプローチは、単独で用いる場合よりも優れた性能を達成できるか？

主な発見

• DMASS+DCSSモデルは、比較対象の全モデルの中で最高のSARIスコアを達成し、全体的な簡略化品質が優れていることを示している。
• モデルは、適用可能な簡略化ルールの高いカバレッジと、それらの正確な適用という点で、再現率と正確性のバランスが最も良好である。
• Simple PPDBの統合により、特にSARIスコアに重要な影響を与える語の追加・削除操作において、性能が顕著に向上した。
• ビームサーチサイズが大きいほど、ルール利用度が顕著に向上する傾向があり、有効な簡略化経路の探索がより良く行われていることを示唆している。
• DMASSはDCSSよりもルール利用度で優れており、外部メモリが低頻度のルールをより効果的に保持・適用できることを示している。
• SBMT-SARIは高い再現率を示すが、過剰な簡略化により正確性が著しく低下しており、誤った変換を減らすためにルールに配慮したメモリの利点が顕著に現れている。