[論文レビュー] Complexity-Weighted Loss and Diverse Reranking for Sentence Simplification

Reno Kriz, João Sedoc+5 more|arXiv (Cornell University)|Apr 4, 2019

Text Readability and Simplification参考文献 24被引用数 5

ひとこと要約

本稿では、トレーニング中に複雑さ重み付き損失を統合し、推論時に多様な再ランク付けを適用することで、簡潔さ、流暢さ、適切さを向上させる、文の簡略化のための新しいシーケンス・ツー・シーケンスフレームワークを提案する。モデルは、語の複雑さモデリング、候補の多様性、およびマルチ基準再ランク付けを活用することで、先行する最先端モデルよりも短く、より単純な文を生成するが、人間評価スコアは競争力を持つ。

ABSTRACT

Sentence simplification is the task of rewriting texts so they are easier to understand. Recent research has applied sequence-to-sequence (Seq2Seq) models to this task, focusing largely on training-time improvements via reinforcement learning and memory augmentation. One of the main problems with applying generic Seq2Seq models for simplification is that these models tend to copy directly from the original sentence, resulting in outputs that are relatively long and complex. We aim to alleviate this issue through the use of two main techniques. First, we incorporate content word complexities, as predicted with a leveled word complexity model, into our loss function during training. Second, we generate a large set of diverse candidate simplifications at test time, and rerank these to promote fluency, adequacy, and simplicity. Here, we measure simplicity through a novel sentence complexity model. These extensions allow our models to perform competitively with state-of-the-art systems while generating simpler sentences. We report standard automatic and human evaluation metrics.

研究の動機と目的

• 標準的なSeq2Seqモデルが複雑な元文をそのままでコピーする傾向があることにより、長く複雑な簡略化が生じることを是正する。
• 独自の損失関数を用いて、コンテンツ語の複雑さをトレーニング目的に組み込むことで、簡略化の品質を向上させる。
• 類似度ペナルティとクラスタリングを用いた候補の簡略化の多様性と品質を向上させる。
• 流暢さ、適切さ、簡潔さを促進する再ランク付けシステムを用いて、多様な候補群から最適な簡略化を選択する。
• 推論後の再ランク付けが、提案された各構成要素の中で最大のパフォーマンス向上をもたらすことを示す。

提案手法

• トレーニング中に高複雑度のコンテンツ語を軽減する複雑さ重み付き交差エントロピー損失を導入し、より単純な語彙の選択を促進する。
• デコード中に対象となる候補の多様性を促進するため、類似度ペナルティを適用する。
• 生成後に類似した候補文をクラスタリングし、極めて冗長なものを削除して多様性を向上させる。
• 流暢さ、適切さ、簡潔さに基づいて候補をスコア化する再ランク付けモデルを採用し、新規の文の複雑さモデルを用いる。
• 損失関数に統合するためのレベル分けされた語の複雑さモデルを用いて、コンテンツ語の複雑さを予測する。
• ビームサーチによるデコードを伴う、変換器ベースのSeq2Seqアーキテクチャを採用し、提案されたトレーニングおよび推論技術で強化する。

実験結果

リサーチクエスチョン

• RQ1 語レベルの複雑さをトレーニング損失に組み込むことで、より単純で的確な簡略化が得られるか？
• RQ2 デコード段階での多様性正則化とクラスタリングは、生成された簡略化の品質を向上させられるか？
• RQ3 多様な候補群に対する再ランク付けは、標準的なデコードと比較して、流暢さ、適切さ、簡潔さを著しく向上させるか？
• RQ4 個々の構成要素（複雑さ損失、多様性、再ランク付け）は、全体のパフォーマンスにどのように寄与するか？
• RQ5 文の長さと人間による意味保持スコアの相関関係はどの程度か？

主な発見

• 提案モデルは、SARIスコアにおいて以前の最先端モデルを上回り、自動評価スコアが向上していることを示している。
• モデルは、高い適切さと流暢さを維持しながら、平均文長が顕著に短縮された。
• 3つの構成要素の中で、推論後の再ランク付けが自動評価および人間評価の両設定で最大のパフォーマンス向上をもたらした。
• 人間評価により、モデルの簡略化がより単純で流暢であると認識され、適切さスコアも競争的であることが確認された。
• 誤差解析により、長く複雑な元文、代名詞解決の失敗、主節の内容の欠落が主な失敗要因であることが判明し、より良い話法的モデリングと文分割の必要性が示唆された。
• モデルは、ゴールデータに存在しない妥当な簡略化を生成しており、学習分布を超えた一般化の可能性を示している。