[論文レビュー] Controllable Sentence Simplification: Employing Syntactic and Lexical Constraints

Jonathan Mallinson, Mirella Lapata|arXiv (Cornell University)|Oct 10, 2019

Text Readability and Simplification参考文献 45被引用数 14

ひとこと要約

本論文は、ユーザー固有のニーズに合わせて簡素化を調整できる制御可能文簡素化モデルCROSSを提案する。このモデルは、変換器アーキテクチャに基づき、明示的な文法的および語彙的制約を用いる。学習可能またはユーザー定義の制約をモデルに組み込むことで、ベンチマークデータセットで最先端の性能を達成するとともに、簡素化のレベルやタイプ（語彙置換や文構造再編を含む）に対する柔軟な制御を可能にする。

ABSTRACT

Sentence simplification aims to make sentences easier to read and understand. Recent approaches have shown promising results with sequence-to-sequence models which have been developed assuming homogeneous target audiences. In this paper we argue that different users have different simplification needs (e.g. dyslexics vs. non-native speakers), and propose CROSS, ContROllable Sentence Simplification model, which allows to control both the level of simplicity and the type of the simplification. We achieve this by enriching a Transformer-based architecture with syntactic and lexical constraints (which can be set or learned from data). Empirical results on two benchmark datasets show that constraints are key to successful simplification, offering flexible generation output.

研究の動機と目的

• 既存の文簡素化モデルが、読み書き障害、低学力、または第二言語習得者といった異なるニーズにもかかわらず、すべてのユーザーに同一の処理を施すという限界に対処する。
• 再訓練を一切行わずに、さまざまなユーザー要件に適応可能な統合型モデルを開発する。
• 明示的な制約を通じて、簡素化のレベルとタイプ（語彙的・文法的）の両方を制御可能にする。
• 構造的および語彙的制約を変換器ベースのシーケンス・トゥ・シーケンスフレームワークに統合することで、簡素化の質を向上させる。
• 制約が制御性と性能の両方を向上させることを示し、多様なユーザー層に柔軟に適応可能なソリューションを提供する。

提案手法

• 変換器ベースのエンコーダ・デコーダモデルに、デコード段階での簡素化意思決定を導く文法的および語彙的制約を追加する。
• トレーニングデータに、語彙置換（例：保持または置換）および文法的簡素化（例：声・時制・文分割のテンプレート）の明示的アノテーションを付与する。
• 推論時にユーザーが制約を指定可能とし、語彙置換の数や文法的変換の数を増加させられるようにする。
• トレーニング後、制約を適用することで、再訓練なしに複数のユーザープロファイルに対応可能な1つのモデルを実現する。
• デコードプロセスを、まずターゲット構文（制約を介して）を生成し、その後語彙的トークンを生成するように構造化することで、文法的整合性を確保する。
• 手動で収集した制約とデータから学習した制約の組み合わせを用い、高頻度の簡素化パターンや複雑語リスト（例：Newsela用に12,000語の最も複雑な語彙）を含む。

実験結果

リサーチクエスチョン

• RQ1 変換器ベースのシーケンス・トゥ・シーケンスモデルに文法的および語彙的制約を効果的に統合できるか？
• RQ2 再トレーニングを伴わずに、制約が簡素化のレベルやタイプ（例：語彙的変更対文法的変更）の制御にどの程度有効に機能するか？
• RQ3 制約に基づく簡素化は、制約なしのモデルと比較して文法的整合性、適切性、簡素さの観点でどのように異なるか？
• RQ4 調整可能な制約設定により、ユーザーのニーズに応じた出力を生成できるか（例：読み書き障害のある読者と第二言語習得者）？
• RQ5 制約強度を高めた場合、簡素化のレベルと出力品質（例：文法的整合性、適切性）の間にはどのようなトレードオフが生じるか？

主な発見

• CROSSはWikiLargeベンチマークで最先端の性能を達成し、評価モデルの中で最高のMinimumスコアを記録した。
• モデルは、さまざまなレベルの簡素化を出力可能であることが確認された：'Simple'および'XSimple'バージョンのFKGLスコアに顕著な差が見られ、明確に異なる簡素化レベルであることが示された。
• 人間評価では、Newselaデータセットにおいて'XSimple'出力は'Simple'出力と比較して有意に適切性と文法的整合性が低く、簡素さとスムーズさのトレードオフが確認された。
• WikiLargeでは、'Simple'および'XSimple'出力の間で人間評価に有意差が認められず、このデータセットではよりバランスの取れたトレードオフが実現されていることが示唆された。
• CROSSはベースラインのTransformerと比較して、顕著に多くの文法的簡素化（例：声の変更、時制の変更、文分割）を実行しており、参照簡素化と密接に一致した。
• トレーニング後に制約を適用できるというモデルの特性により、再トレーニングなしにさまざまなユーザーのニーズに柔軟に適応可能であり、優れた制御性を示した。