[論文レビュー] DaLAJ - a dataset for linguistic acceptability judgments for Swedish: Format, baseline, sharing

Elena Volodina, Yousuf Ali Mohammed+1 more|arXiv (Cornell University)|May 14, 2021

Natural Language Processing Techniques参考文献 20被引用数 7

ひとこと要約

DaLAJ 1.0 は、学習者エッセイから抽出された 9,596 文のスウェーデン語文の新しいデータセットであり、文の文法的受容可能性を判断するタスクを目的としている。文の順序をランダム化し、匿名化された学習者データを用い、母語と習得レベルのメタデータのみを保持しており、GDPR準拠のデータ共有を可能にしている。BERT埋め込みを用いたベースライン二値分類では 58% の正解率を達成し、自然言語処理および第二言語習得研究における有用性を示している。

ABSTRACT

We present DaLAJ 1.0, a Dataset for Linguistic Acceptability Judgments for Swedish, comprising 9 596 sentences in its first version; and the initial experiment using it for the binary classification task. DaLAJ is based on the SweLL second language learner data, consisting of essays at different levels of proficiency. To make sure the dataset can be freely available despite the GDPR regulations, we have sentence-scrambled learner essays and removed part of the metadata about learners, keeping for each sentence only information about the mother tongue and the level of the course where the essay has been written. We use the normalized version of learner language as the basis for the DaLAJ sentences, and keep only one error per sentence. We repeat the same sentence for each individual correction tag used in the sentence. For DaLAJ 1.0 we have used four error categories (out of 35 available in SweLL), all connected to lexical or word-building choices. Our baseline results for the binary classification show an accuracy of 58% for DaLAJ 1.0 using BERT embeddings. The dataset is included in the SwedishGlue (Swe. SuperLim) benchmark. Below, we describe the format of the dataset, first experiments, our insights and the motivation for the chosen approach to data sharing.

研究の動機と目的

• 第二言語学習者データを用いて、公開可能で GDPR に準拠したスウェーデン語の文法的受容可能性判断のためのデータセットを構築すること。
• 学習者によるアノテーション済みデータを標準化形式に変換することで、誤り検出・是正・受容可能性に関する大規模な NLP 研究を可能にすること。
• 個人を特定できる情報の共有という課題に対処するため、個人識別子を削除し、文の順序をランダム化する技術を用いること。
• スウェーデン語 NLP のベンチマークを確立するため、DaLAJ をスウェーデン語GLUE（Swe. SuperLim）評価スイートに統合すること。
• 学習者コーパスを、NLU タスク用の本物の専門家アノテーション済み「不適切な」言語例の供給源として利用可能かどうかを検討すること。

提案手法

• データセットは、35 種類の誤りタイプにわたる 29,285 個の修正タグを含む 502 件の正規化済みエッセイから構成される SweLL 学習者コーパスに基づいている。
• DaLAJ 1.0 では、語彙的派生、合成語、スウェーデン語以外の語の使用、誤った語句・語の使用の 4 つの誤りカテゴリのみを選択した。これらはすべて語彙的または語形成に関する選択に関連する。
• 各文は、正確に 1 つの誤りの違いがある修正済みバージョンとペアにされ、4,798 組の文ペア、合計 9,596 文が得られた。
• GDPR準拠を確保するため、すべての学習者を特定するメタデータが削除され、再識別を防ぐために文の順序がランダム化された。
• 最終的なデータセットには母語とコースレベルのメタデータのみが含まれており、各文は正規化された形で保持された。
• BERTを用いた二値分類器をデータセット上で学習させ、受容可能性判断タスクにおけるベースライン性能を 58% 正解率として確立した。

実験結果

リサーチクエスチョン

• RQ1 学習者コーパスを、GDPR準拠で公開可能な受容可能性判断用データセットに変換することは可能か？
• RQ2 BERTベースのモデルは、学習者エラーから抽出されたスウェーデン語文の受容可能性をどれほど効果的に分類できるか？
• RQ3 文の順序をランダム化し、匿名化するアプローチは、NLP タスクにおけるデータの言語的整合性と有用性を保持しているか？
• RQ4 提案されたデータフォーマットは、第二言語習得研究における細分化された誤り分析およびモデル評価を可能にするか？
• RQ5 このようなデータセットは、多言語 NLP における共有タスクやベンチマーク作成の可能性を秘めているか？

主な発見

• DaLAJ 1.0 には、4,798 組の文ペアから得られた合計 9,596 文が含まれており、それぞれが正確に 1 つの語彙的または語形成的誤りの違いを持つ。
• データセットは SweLL 学習者コーパスに基づいており、502 件の正規化済みエッセイと 29,285 個の修正タグを有し、そのうち 4,798 個の関連修正が選択された。
• BERT埋め込みを用いたベースライン二値分類モデルは、受容性判断タスクで 58% の正解率を達成した。
• データセットはスウェーデン語GLUEベンチマークに統合されており、スウェーデン語向け NLP モデルの標準化された評価を可能にしている。
• 提案されたデータ共有アプローチ（文の順序ランダム化と最小限のメタデータ）により、GDPR準拠を維持しながら、研究分野への広範なアクセスが可能になった。
• 今後の課題には、全 35 個の修正タグをカバーするようにデータセットを拡張すること、複数誤りを含む文に対するモデルのテストを行うこと、共有タスクの開催を計画することなどがある。