[論文レビュー] Simple-QE: Better Automatic Quality Estimation for Text Simplification

Reno Kriz, Marianna Apidianaki+1 more|arXiv (Cornell University)|Dec 22, 2020

Text Readability and Simplification参考文献 22被引用数 6

ひとこと要約

この論文では、人間の参照文書を必要とせずに、文の流暢さ、適切さ、複雑さを予測するBERTベースの品質推定モデルであるSimple-QEを紹介する。Sum-QEフレームワークを適応させ、独自の文脈特徴を統合することで、システム出力に対して人間の判断と高い相関（r=0.650）を達成し、特に文書レベルでの複雑さ予測においてベースラインを上回る性能を示した。

ABSTRACT

Text simplification systems generate versions of texts that are easier to understand for a broader audience. The quality of simplified texts is generally estimated using metrics that compare to human references, which can be difficult to obtain. We propose Simple-QE, a BERT-based quality estimation (QE) model adapted from prior summarization QE work, and show that it correlates well with human quality judgments. Simple-QE does not require human references, which makes the model useful in a practical setting where users would need to be informed about the quality of generated simplifications. We also show that we can adapt this approach to accurately predict the complexity of human-written texts.

研究の動機と目的

• 人間の参照文書に依存しないテキスト簡略化の品質推定モデルの開発を目的とする。
• BLEU や SARI などの参照依存型指標は、簡略化固有の品質要因と相関が低いことから、それらを改善することを目的とする。
• 要約処理用に開発されたBERTベースの品質推定（Sum-QE）をテキスト簡略化の文脈に適応させることを目的とする。
• 実際の簡略化システムや手作業による簡略化ワークフローへの品質推定の実用的導入を可能とすることを目的とする。
• モデルが人間が書いたテキストの複雑さ、特に文書レベルでの予測能力を検証することを目的とする。

提案手法

• 要約処理用に開発されたマルチタスクBERTベースのSum-QEモデルを、簡略化されたテキストにおける流暢さ、適切さ、複雑さという3つの言語的品質の予測に適応させる。
• 人間によるアノテーションに基づく判断を用いて、BERTを微調整し、流暢さ、適切さ、複雑さの連続的スコアを予測する回帰ヘッドを構築する。
• 元の複雑な文からの数値特徴（例：文の長さ、構文解析木の高さ）とシステム出力の特徴を組み込んで予測精度を向上させる。
• 単一タスク（S-1）とマルチタスク（M-1, M-3）の学習設定を採用し、M-3では3つの品質スコアを共有モデルで同時に学習する。
• 文書レベルの複雑さ推定のため、部分文書の予測結果を長さ重み付き平均で統合する。
• 自動的簡略化出力およびNewselaコーパスおよびWikipediaからの人間による簡略化出力の両方でモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 要約処理用に訓練されたBERTベースの品質推定モデルを、人間の参照文書を必要とせずにテキスト簡略化に効果的に適応できるか。
• RQ2 Simple-QEは、自動生成された簡略化出力の流暢さ、適切さ、複雑さについて、人間の判断とどの程度相関するか。
• RQ3 特に文書レベルにおいて、モデルは人間が書いた簡略化出力の複雑さを正確に予測できるか。
• RQ4 文の長さや構文解析木の高さなどの数値特徴を組み込むことで、予測性能がどの程度向上するか。
• RQ5 Wikipediaの記事など、ドメイン外のテキストに対しても、モデルはどの程度一般化できるか。

主な発見

• Simple-QEは、システム生成出力について、人間の判断と流暢さで0.650、適切さで0.538、複雑さで0.436のピアソン相関を達成した。
• マルチタスクモデル（M-3 All）は、単一タスクや他のベースラインを上回り、品質要因の共同学習が性能向上に寄与することを示した。
• Newselaコーパスにおける文レベルの複雑さ予測では、Simple-QE S-1が0.726の相関を達成し、特徴ベースのベースライン（例：LinReg: 0.574）を上回った。
• 文書レベルでは、Simple-QE S-1が人間の複雑さ判断と0.964の相関を示し、最良のベースライン（LinReg: 0.919）を顕著に上回った。
• モデルはドメイン外のテキストにも一般化でき、並列された簡易版と通常版のWikipediaドキュメントにおいて、複雑さ予測で0.729のピアソン相関を達成した。
• 文の長さが最も予測に寄与する特徴であるが、BERTの微調整により他の特徴と組み合わせることで、線形モデルのみに比べて著しく優れた結果が得られた。