[論文レビュー] SweLL on the rise: Swedish Learner Language corpus for European Reference Level studies

Elena Volodina, Ildikó Pilán+5 more|arXiv (Cornell University)|Apr 22, 2016

Natural Language Processing Techniques被引用数 14

ひとこと要約

本論文では、3つの教育機関から収集された、A1からC1レベルまでのスウェーデン語第二言語の作問文の学習者コーパス、SweLLを紹介する。手動と自動の両方のアノテーションを組み合わせることで、相互言語研究、言語教育、および学習者言語を分析するための計算ツールの開発を支援する。継続的な拡張が予定されており、誤りアノテーションおよび正規化の計画により、高度な言語学的・教育的分析が可能になる。

ABSTRACT

We present a new resource for Swedish, SweLL, a corpus of Swedish Learner essays linked to learners' performance according to the Common European Framework of Reference (CEFR). SweLL consists of three subcorpora - SpIn, SW1203 and Tisus, collected from three different educational establishments. The common metadata for all subcorpora includes age, gender, native languages, time of residence in Sweden, type of written task. Depending on the subcorpus, learner texts may contain additional information, such as text genres, topics, grades. Five of the six CEFR levels are represented in the corpus: A1, A2, B1, B2 and C1 comprising in total 339 essays. C2 level is not included since courses at C2 level are not offered. The work flow consists of collection of essays and permits, essay digitization and registration, meta-data annotation, automatic linguistic annotation. Inter-rater agreement is presented on the basis of SW1203 subcorpus. The work on SweLL is still ongoing with more than 100 essays waiting in the pipeline. This article both describes the resource and the "how-to" behind the compilation of SweLL.

研究の動機と目的

• 公開可能な、CEFRアノテーション付きのスウェーデン語第二言語の書言語生産の学習者コーパスを構築し、相互言語研究と言語教育を支援すること。
• 特にCEFRの習得度レベルに関連して、デジタル化されアノテーションが施されたスウェーデン語の学習者データの不足を補うこと。
• 誤り検出や言語的アノテーションを含む、学習者言語を分析するための（準）自動ツールの開発を促進すること。
• スウェーデン語における第二言語習得の語彙、文法、構文の使用に関する小規模研究からの仮説の検証に役立てるリソースを提供すること。
• 語彙的、文法的、綴りの発達が習得度レベルごとにどのように変化するかを実証的データで提示することで、CEFRの記述の解釈を支援すること。

提案手法

• 異なる教育的文脈と習得度レベルをカバーする3つの機関（SpIn, SW1203, Tisus）から学習者エッセイを収集する。
• エッセイのデジタル化とメタデータアノテーション（年齢、性別、母語、居住期間、課題タイプ、一部では成績とテクストジャンル）を実施する。
• 計算的分析を支援するため、自動言語アノテーション（例：語彙素の基本形化、品詞タグ付け）を適用する。
• SW1203サブコーパスにおける評価者間整合性の評価を行い、アノテーション品質を検証する。
• 100件以上のエッセイが予定されており、継続的なコーパス拡張が行われており、正規化および誤りアノテーションの計画が進められている。
• 規範的NLPツールが学習者言語に適用する際の限界を克服するべく、相互言語データに特化した計算手法の開発にコーパスを活用する。

実験結果

リサーチクエスチョン

• RQ1 CEFRレベル（A1–C1）にわたる学習者エッセイを、どのように体系的に収集・アノテーションし、相互言語研究を支援できるか？
• RQ2 非基本形語彙素の頻度が習得度レベルとどの程度相関するか。これは、語彙的または綴りの誤り率を示唆するか？
• RQ3 CEFRアノテーション付きの学習者コーパスは、スウェーデン語の文脈における「できる」記述の解釈をどのように向上させられるか？
• RQ4 第二言語としてスウェーデン語を学ぶ学習者において、最も頻出するトピックと母語は何か。また、習得度レベルごとにそれらはどのように変化するか？
• RQ5 標準化され、アノテーションが施された学習者コーパスは、第二言語言語分析および学習教材開発のための自動化ツール開発にどのような応用が可能か？

主な発見

• SweLLコーパスには現在、5つのCEFRレベル（A1からC1）にわたって339件のエッセイが含まれており、C2はそのレベルの授業が提供されていないため除外されている。
• 非基本形語彙素の割合（綴りや語彙的誤りの可能性を示唆）は、A1でA2に比べて4%高く、C1では2.5%低下しており、習得度が向上するにつれて誤り率が低下していることが示唆されている。
• コーパス内で最も頻出するトピックは、健康と身体ケア（117件）、個人の身元（97件）、日常の生活（60件）であり、これは第二言語の作問タスクで一般的なテーマを反映している。
• コーパスに含まれる学習者は64の母語を有しており、最も頻出する10の母語にはアラビア語、ペルシャ語、アムハラ語が含まれ、多様な母語背景がうかがえる。
• コーパスはすでに、文法チェック、定冠詞と形容詞の一致、テスト作成における弁別的側面に関する複数の研究プロジェクトで使用されている。
• コーパスは現在も積極的に拡張されており、100件以上の追加エッセイが準備中であり、今後の計画として正規化および誤りアノテーションが予定されており、ゴールスタンダードコーパスの構築を支援する。