[論文レビュー] Predicting Lexical Complexity in English Texts.

Matthew Shardlow, Richard Evans+1 more|arXiv (Cornell University)|Feb 17, 2021

Text Readability and Simplification参考文献 63被引用数 16

ひとこと要約

本稿は、英語用の複雑語識別（CWI）データセットの特性を調査し、既存のアノテート済みコーパスを分析することで、その特徴と限界を理解することを目的としている。本稿は、語の複雑さのアノテーションの一貫性とターゲット読者集団の特異性に焦点を当てた、体系的なデータセット品質の評価を提案し、より良いテキスト簡略化システムの構築に向けた知見を提供する。

ABSTRACT

The first step in most text simplification is to predict which words are considered complex for a given target population before carrying out lexical substitution. This task is commonly referred to as Complex Word Identification (CWI) and it is often modelled as a supervised classification problem. For training such systems, annotated datasets in which words and sometimes multi-word expressions are labelled regarding complexity are required. In this paper we analyze previous work carried out in this task and investigate the properties of complex word identification datasets for English.

研究の動機と目的

• 既存の英語用複雑語識別（CWI）データセットの性質と特徴を検討すること。
• 異なるデータセット間で語の複雑さのアノテーションがどの程度一貫性を持ち、信頼性があるかを評価すること。
• 語彙的複雑さ予測モデルの性能に影響を及ぼす既存データセットのギャップと限界を同定すること。
• 今後のCWI研究におけるデータセット品質の向上に向けたガイドラインを提供すること。

提案手法

• 本稿は、既存の英語用CWIデータセットを比較分析する。
• 語の頻度、品詞分布、複雑さアノテーション基準といったデータセットの特徴を評価する。
• データセット間でのアノテーター間整合性と複雑さラベル付けの一貫性を検討する。
• データセットにおける語の複雑さとターゲット読者集団との整合性を調査する。
• 複雑さの判断に影響を与える言語的および人口統計的要因をレビューする。
• 研究手法は定性的かつ比較的であり、モデルの学習ではなくデータセットレベルの特性に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 既存の英語用CWIデータセットの主な言語的および人口統計的特性は何か？
• RQ2 異なるデータセットおよびアノテーター間で複雑さのアノテーションはどの程度一貫しているか？
• RQ3 現在のデータセットは、特定のターゲット読者集団の複雑さ判断をどの程度反映しているか？
• RQ4 CWIモデルの性能に影響を及ぼすデータセット設計上の主な限界は何か？
• RQ5 より正確な語彙的複雑さ予測を支援するため、どのようにデータセット品質を向上させられるか？

主な発見

• 既存のCWIデータセットは、アノテーション基準やターゲット読者集団の定義において顕著な差異を示している。
• 語の複雑さに関するアノテーター間整合性はしばしば低く、ラベリングの実践に一貫性が欠けていることを示している。
• 多くのデータセットが複雑さの明確な定義を欠いており、曖昧または主観的なアノテーションを生じさせている。
• データセット内の語の種類と頻度の分布は、実際のテキストの複雑さのパターンを常に反映しているわけではない。
• CWIデータセットの標準化された評価プロトコルが不足しており、モデル間の比較が困難になっている。
• データセット設計は、読者スキルや文脈的要因が複雑さの認識に与える影響をしばしば無視している。