[論文レビュー] LSBert: A Simple Framework for Lexical Simplification

Jipeng Qiang, Yun Li+3 more|arXiv (Cornell University)|Jun 25, 2020

Text Readability and Simplification参考文献 31被引用数 14

ひとこと要約

LSBert は、文脈を考慮した表現を活用して複雑語を特定し、文脈に適した意味的に同等の簡素化を生成する BERT ベースのフレームワークである。5 つの高品質な特徴（BERT の予測順序、言語モデルスコア、PPDB）を統合することで、3 つのベンチマークで前人最高の性能を達成し、従来手法より 29.8 ポints の精度向上を実現した。

ABSTRACT

Lexical simplification (LS) aims to replace complex words in a given sentence with their simpler alternatives of equivalent meaning, to simplify the sentence. Recently unsupervised lexical simplification approaches only rely on the complex word itself regardless of the given sentence to generate candidate substitutions, which will inevitably produce a large number of spurious candidates. In this paper, we propose a lexical simplification framework LSBert based on pretrained representation model Bert, that is capable of (1) making use of the wider context when both detecting the words in need of simplification and generating substitue candidates, and (2) taking five high-quality features into account for ranking candidates, including Bert prediction order, Bert-based language model, and the paraphrase database PPDB, in addition to the word frequency and word similarity commonly used in other LS methods. We show that our system outputs lexical simplifications that are grammatically correct and semantically appropriate, and obtains obvious improvement compared with these baselines, outperforming the state-of-the-art by 29.8 Accuracy points on three well-known benchmarks.

研究の動機と目的

• 既存の非教師あり語彙的簡素化手法が、文脈を考慮せずに個別に置換候補を生成するという限界を是正すること。
• 複雑語の特定、置換語の生成、順序付けの 3 ステップすべてに文脈を統合することで、簡素化文の文法的正しさと意味的同等性を向上させること。
• 手作業で作成された言語学的データベースや並列コーパスに依存しない、シンプルでエンドツーエンドのフレームワークを構築すること。
• 単語の頻度や類似度といった特徴を超えて、モノリンガルで生のテキストと事前学習済み BERT 表現のみを用いて、標準的な語彙的簡素化ベンチマークで最先端の性能を達成すること。
• 大規模な生テキストでの事前学習を活用することで、多様な言語に広く適用可能なフレームワークを実現すること。

提案手法

• 文脈内の複雑語を検出するために、BiLSTM を用いたシーケンスラベルリングモデルを採用し、孤立した語の分析よりも文脈に配慮した識別を向上させた。
• 複雑語を [MASK] トークンに置き換えることで、BERT のマスキング言語モデルを適用し、最も確率の高い語彙語を置換候補として予測する。
• マスキングトークンの語彙に対する BERT の確率分布に基づいて、文脈に応じた適切な選択を保証する置換語候補を生成する。
• 5 つの特徴（BERT の予測順序、BERT を用いた言語モデルスコア、PPDB を用いた類似度、語の頻度、語の類似度）を用いて置換語候補を順序付けする。
• 1 回に 1 つの語を置換するように再帰的に簡素化処理を適用し、文の整合性と文法的正しさを維持する。
• ラベル付きデータでの微調整を一切行わず、大規模なモノリンガルテキストでの事前学習による文脈理解に依存する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み言語モデル（例：BERT）を用いることで、置換候補の生成と順序付けの両段階で文脈を捉えることができ、語彙的簡素化の性能が向上するか？
• RQ2 語の頻度や類似度といった特徴を超えて、複数の高品質な特徴を統合することで、より正確で文脈に適した簡素化が実現できるか？
• RQ3 並列コーパスや言語学的データベースを必要としない、完全に非教師ありでエンドツーエンドのフレームワークが、従来のルールベースや埋め込みベースの手法を上回る性能を発揮できるか？
• RQ4 文脈に配慮した候補生成は、文脈に無関係なアプローチと比較して、簡素化文の文法的正しさと意味的同等性にどのように影響を与えるか？
• RQ5 提案されたフレームワークは、多様な語彙的簡素化ベンチマークおよび実世界のテキストにおいて、どの程度一般化可能か？

主な発見

• LSBert は、3 つの有名な語彙的簡素化ベンチマークで、前人最高の手法よりも 29.8 ポイントの精度向上を達成した。
• WikiLarge データセットを用いた定性的な分析により、LSBert が文法的に正しいだけでなく、元の文と意味的に同等の簡素化を生成することが確認された。
• Glavaš や REC-LS といったベースライン手法と比較して、LSBert は文脈に適した置換語を生成する点で優れており、不適切または意味的に歪んだ出力を回避した。
• BERT の予測順序と言語モデルスコアの統合により、候補順序付けの品質が顕著に向上し、誤ったまたは一貫性のない簡素化が減少した。
• 動詞、名詞、形容詞など多様な語の品詞と文の種類に対して、堅牢な性能を示した。
• 複数回の簡素化ステップを再帰的に適用しても、文の一体性と整合性が保たれ、フレームワークの有効性が維持された。