[論文レビュー] Subjective Assessment of Text Complexity: A Dataset for German Language

Babak Naderi, Salar Mohtaj+2 more|arXiv (Cornell University)|Apr 16, 2019

Text Readability and Simplification参考文献 6被引用数 9

ひとこと要約

本稿では、Wikipedia や Leichte Sprache からの 1,000 文のドイツ語文を対象に、A1–B2 レベルのドイツ語学習者によるクラウドソーシングおよびラボ研究を通じて、複雑さ、理解しやすさ、語彙的難易度に関する主観的評価が行われたドイツ語用データセット TextComplexityDE を紹介する。また、ネイティブスピーカーによる 250 文の手動簡素化も含まれており、ドイツ語向けのテキスト複雑さモデルおよび自動簡素化システムの開発が可能となる。

ABSTRACT

This paper presents TextComplexityDE, a dataset consisting of 1000 sentences in German language taken from 23 Wikipedia articles in 3 different article-genres to be used for developing text-complexity predictor models and automatic text simplification in German language. The dataset includes subjective assessment of different text-complexity aspects provided by German learners in level A and B. In addition, it contains manual simplification of 250 of those sentences provided by native speakers and subjective assessment of the simplified sentences by participants from the target group. The subjective ratings were collected using both laboratory studies and crowdsourcing approach.

研究の動機と目的

• 自動テキスト簡素化および可読性モデリングを支援する高品質な文単位のドイツ語テキスト複雑さ評価用データセットの開発。
• 検証済み手法を用いて、ドイツ語学習者（A1–B2レベル）から複雑さ、理解しやすさ、語彙的難易度に関する主観的評価を収集すること。
• ネイティブスピーカーによる 250 文の複雑な文の手動簡素化を提供し、自動テキスト簡素化モデルのゴールドスタンダード簡素化リファレンスとしての役割を果たすこと。
• Flesch Reading Ease などの定量的可読性式と比較して、主観的評価の信頼性および妥当性を評価すること。
• 今後の研究において、受動的理解（例：内容理解クイズ）や生理的測定（例：眼動測定）と照らし合わせた、主観的複雑さの比較が可能になるようにすること。

提案手法

• 歴史、社会、科学の分野にまたがる 23 軸の Wikipedia 記事から 1,019 文を収集し、Leichte Sprache データセットから 100 文をゴールドスタンダードとして追加。
• 複雑さ、理解しやすさ、語彙的難易度の 3 要因について、7 段階の絶対カテゴリー評価尺度を設計。パイロットスタディおよび専門家レビューによる検証を実施。
• 3 チャnel を通じた主観的評価を実施：報酬付きクラウドソーシング（16%）、87 個の Facebook グループを通じたボランティア参加（21%）、33 名の学習者を対象とした制御されたラボセッション（有効評価の 63%）。
• 統計的手法を用いてデータをスクリーニングし、1 文あたり 5～18 個の有効評価を保持。平均意見スコア（MOS）、標準偏差、95%信頼区間を報告。
• 265 文の極めて複雑な文（複雑さのMOS > 4.0、理解しやすさのMOS > 3.5）を対象に、75 名のネイティブスピーカーによる手動簡素化を実施。
• Flesch Reading Ease（FRE）スコアを記事レベルおよび文単位で算出し、主観的評価と比較し、式の限界を評価。

実験結果

リサーチクエスチョン

• RQ1 ドイツ語学習者におけるテキスト複雑さ、理解しやすさ、語彙的難易度の主観的評価の間には、どの程度相関関係があるか？
• RQ2 Flesch Reading Ease などの定量的可読性式は、文単位での主観的評価とどの程度相関するか？
• RQ3 言語学習者からの主観的評価は、テキスト難易度の客観的測定と比較して、どの程度信頼性があり妥当性があるか？
• RQ4 ネイティブスピーカーによる手動簡素化文は、ドイツ語向け自動テキスト簡素化モデルの学習に有効なリファレンスとして機能できるか？
• RQ5 既存の可読性式は、学習者が感じた文単位の複雑さをどの程度適切に捉えているか？その限界は何か？

主な発見

• Wikipedia 文の複雑さの平均意見スコア（MOS）は 3.22、Leichte Sprache 文は 1.20 であり、通常のテキストと簡素化済みテキストの間で明確な差が確認された。
• 各次元間の強い相関関係が確認された：複雑さと理解しやすさ（r = .896）、複雑さと語彙的難易度（r = .905）、理解しやすさと語彙的難易度（r = .935）。
• Flesch Reading Ease（FRE）スコアは、文単位での主観的複雑さと中程度の相関（r = .55、p < .001）を示したが、正規化後の大きな切片を示し、主観的難易度と整合性に欠けることが判明した。
• FRE 式は文単位での評価にあまり適さず、特に高複雑度領域で性能が著しく劣ることが確認され、既存の知見を裏付けた。
• 最も複雑とされた文は、主題的に複雑であったり、構文的に込み入っていて、ネイティブでさえ理解しにくく感じられることが多く、構文的・意味的要因が主観的難易度に大きく寄与することが示された。
• 選別された 265 文のうち、250 文が少なくとも 1 つの簡素化を受けたが、90 文は簡素化不能と判断された。これは、特定の構文的・意味的構造を簡素化することが困難であることを示している。