[論文レビュー] Controllable Sentence Simplification

Louis Martin, Benoît Sagot+2 more|arXiv (Cornell University)|Oct 7, 2019

Text Readability and Simplification参考文献 5被引用数 15

ひとこと要約

本論文は、長さ、語彙的複雑さ、構文的複雑さ、パラフレーズ化などの出力属性を明示的に制御できる、文の簡略化のための制御可能シーケンス・ツー・シーケンスモデルACCESSを提案する。訓練時に離散的制御トークンでモデルを条件づけることで、外部リソースや訓練目的の変更なしに、WikiLargeベンチマークで41.87というSARIスコアの新たな最良成績を達成した。

ABSTRACT

Text simplification aims at making a text easier to read and understand by simplifying grammar and structure while keeping the underlying information identical. It is often considered an all-purpose generic task where the same simplification is suitable for all; however multiple audiences can benefit from simplified text in different ways. We adapt a discrete parametrization mechanism that provides explicit control on simplification systems based on Sequence-to-Sequence models. As a result, users can condition the simplifications returned by a model on attributes such as length, amount of paraphrasing, lexical complexity and syntactic complexity. We also show that carefully chosen values of these attributes allow out-of-the-box Sequence-to-Sequence models to outperform their standard counterparts on simplification benchmarks. Our model, which we call ACCESS (as shorthand for AudienCe-CEntric Sentence Simplification), establishes the state of the art at 41.87 SARI on the WikiLarge test set, a +1.42 improvement over the best previously reported score.

研究の動機と目的

• 多様な読者層の異なる読解ニーズに応じられない一般化されたテキスト簡略化モデルの限界を解決すること。
• 長さ、語彙的複雑さ、構文的複雑さ、パラフレーズ化などの特定の属性に基づいて、ユーザーが制御可能な簡略化文の生成を可能にすること。
• 外部データや訓練目的の変更なしに、制御可能なパrametrizationによって標準的簡略化ベンチマークでの性能を向上させること。
• 制御属性の適切なキャリブレーションが、標準的なseq2seqモデルを上回ることを示すこと。

提案手法

• 訓練時にユーザー定義された属性でシーケンス・ツー・シーケンスモデルを条件づけるための離散的パrametrization機構を適応する。
• 目的の属性（例：'length:short'、'lexical_complexity:low'）を表す制御トークンを、元の文とは別に追加入力として導入する。
• これらの制御トークンを用いて、指定された属性に合わせた簡略化を生成する、Transformerベースのseq2seqモデルをエンド・ツー・エンドで訓練する。
• 訓練目的を変更せず、標準的な訓練目的（例：交差エントロピー損失）を用いる。外部リソースも使用しない。
• 推論時に希望する制御トークンを提供することで、属性固有の簡略化を生成できるようにする。
• ハイパーパramータ探索により制御値をキャリブレーションし、ベンチマークデータセットでの性能最適化を図る。

実験結果

リサーチクエスチョン

• RQ1 seq2seqフレームワーク内で、長さや複雑さなどの簡略化属性に対する明示的制御を効果的に実装できるか？
• RQ2 離散的制御トークンでモデルを条件づけることで、出力属性に対する意味的かつ測定可能な制御が得られるか？
• RQ3 外部データや訓練目的の変更なしに、制御可能モデルが標準的なseq2seqモデルを上回る性能を達成できるか？
• RQ4 制御属性のキャリブレーションが、WikiLargeベンチマークにおける簡略化品質をどの程度向上させられるか？

主な発見

• 提案されたACCESSモデルは、WikiLargeテストセットで41.87というSARIスコアを達成し、前回の最高スコアから+1.42の向上を示した。
• 制御された生成により、長さ、語彙的複雑さ、構文的複雑さ、パラフレーズ化といった出力属性の正確な操作が可能であり、定性的および定量的分析で裏付けられた。
• 適切にチューニングされた制御値により、アーキテクチャの変更や外部データなしに、標準的なseq2seqベースラインを上回る性能を発揮できる。
• 短い出力や低い語彙的難易度を求めるユーザーのニーズに合わせた簡略化を、モデルが効果的に生成することが可能である。
• 離散的制御メカニズムにより、再訓練や外部監視なしに、効果的かつ解釈可能な制御が可能である。
• 本手法は、細かく制御可能な一方で、適切な適切性とスムーズさを維持しており、多様なエンドユーザーにとって実用的であることが確認された。