[論文レビュー] YACLC: A Chinese Learner Corpus with Multidimensional Annotation

Yingying Wang, Cunliang Kong+9 more|arXiv (Cornell University)|Dec 30, 2021

Natural Language Processing Techniques被引用数 10

ひとこと要約

本稿では、文法的誤りの是正と流暢さの向上を含む多次元的アノテーションを備えた大規模な中国語学習者コーパスYACLCを紹介する。1文あたり10名のアノテータが関与するカスタムクラウドソーシングプラットフォームを用いて構築され、32,124件の学習者作成文に対して合計469,000件の修正が含まれており、中国語第二言語習得および自動文法的誤り是正研究の発展に向けた高品質で意図を保全するアノテーションを提供する。

ABSTRACT

Learner corpus collects language data produced by L2 learners, that is second or foreign-language learners. This resource is of great relevance for second language acquisition research, foreign-language teaching, and automatic grammatical error correction. However, there is little focus on learner corpus for Chinese as Foreign Language (CFL) learners. Therefore, we propose to construct a large-scale, multidimensional annotated Chinese learner corpus. To construct the corpus, we first obtain a large number of topic-rich texts generated by CFL learners. Then we design an annotation scheme including a sentence acceptability score as well as grammatical error and fluency-based corrections. We build a crowdsourcing platform to perform the annotation effectively (https://yaclc.wenmind.net). We name the corpus YACLC (Yet Another Chinese Learner Corpus) and release it as part of the CUGE benchmark (http://cuge.baai.ac.cn). By analyzing the original sentences and annotations in the corpus, we found that YACLC has a considerable size and very high annotation quality. We hope this corpus can further enhance the studies on Chinese International Education and Chinese automatic grammatical error correction.

研究の動機と目的

• 中国語を外国語として学ぶ（CFL）学習者向けに、詳細な誤りアノテーションを備えた大規模で高品質な中国語学習者コーパスの不足を解消すること。
• 豊富でアノテート済みの学習データを提供することで、中国語の自動文法的誤り是正（GEC）モデルの正確性と流暢さを向上させること。
• 中国語の国際的教育を支援し、教員や研究者が学習者の誤りを体系的・系統的に分析できるようにすること。
• 学習者生成中国語テキストの多次元的是正を可能にするスケーラブルで高品質なアノテーションフレームワークの開発。

提案手法

• lang-8プラットフォームから、トピック豊富で自然な第二言語生産を反映する32,124件の学習者作成文を収集する。
• 文法的是正（最小限の編集）と流暢さに基づく是正（ネイティブ並みの改善）を区別する多次元的アノテーションスキームを設計する。
• 視覚的インターフェース、ショートカットキー、二重タグ（G：文法的、F：流暢さ）を備えたカスタムクラウドソーシングプラットフォームを構築し、一貫性と効率性を確保する。
• 正確な語彙レベルの修正を可能にするために、4つの基本操作（追加、削除、置換、再配置）を用い、語を最小アノテーション単位とする。
• 同一の修正を除外する重複除去処理を実施し、最終的なコーパスをJSON形式に整理して公開する。
• アノテーション品質の評価として、受容性スコアの間該任意者一致度を測るためのCohenのKappa係数（平均 = 0.38）を用いる。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、多次元的誤りアノテーションを備えた大規模で高品質な中国語学習者コーパスを構築できるか？
• RQ2 学習者生成中国語文における文法的是正と流暢さに基づく是正の分布と性質はいかなるものか？
• RQ3 複数のアノテータが学習者文の受容性についてどの程度一致するのか、そして是正はどの程度一貫性があるのか？
• RQ4 クラウドソーシングアノテーションプラットフォームは、中国語学習者テキストの細かく多次元的な是正を効果的に支援できるか？

主な発見

• YACLCには32,124件の元の文があり、合計469,000件の修正が含まれており、1文あたり平均14.6件の修正が行われており、アノテーション密度が高く、包括的なカバーがなされていることが示された。
• 文法的是正は331,292件、流暢さに基づく是正は137,708件であり、文法的是正は流暢さに基づく是正よりもよりバランスの取れた分布を示した。
• 受容性スコアの間該任意者一致度（CohenのKappa）の平均は0.38に達し、アノテータ間でやや高い一貫性が確認された。
• コーパスはCUGEベンチマークの一部として公開されており、中国語第二言語習得および自動文法的誤り是正に関する研究へのアクセスを確保している。
• アノテーションスキームは、元の学習者意図を保全するとともに、文法的正しさとネイティブ並みの流暢さを実現するための正確で最小限の編集を可能にした。