[論文レビュー] Are pre-trained text representations useful for multilingual and multi-dimensional language proficiency modeling?

Taraka Rama, Sowmya Vajjala|arXiv (Cornell University)|Feb 25, 2021

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿は、ドイツ語、イタリア語、チェコ語の多言語的・多次元的な言語能力評価において、特にmBERTを含む多言語事前学習埋め込みの有効性を調査している。微調整されたmBERTは多言語設定での性能を向上させるが、すべての次元で一貫して優れた特徴量は存在せず、UPOS n-gramがゼロショットのクロスリンガル転送において強力で頑健なベースラインであることが示された。

ABSTRACT

Development of language proficiency models for non-native learners has been an active area of interest in NLP research for the past few years. Although language proficiency is multidimensional in nature, existing research typically considers a single "overall proficiency" while building models. Further, existing approaches also considers only one language at a time. This paper describes our experiments and observations about the role of pre-trained and fine-tuned multilingual embeddings in performing multi-dimensional, multilingual language proficiency classification. We report experiments with three languages -- German, Italian, and Czech -- and model seven dimensions of proficiency ranging from vocabulary control to sociolinguistic appropriateness. Our results indicate that while fine-tuned embeddings are useful for multilingual proficiency modeling, none of the features achieve consistently best performance for all dimensions of language proficiency. All code, data and related supplementary material can be found at: https://github.com/nishkalavallabhi/MultidimCEFRScoring.

研究の動機と目的

• 英語以外の言語において、mBERTのような多言語事前学習埋め込みが、複数の言語能力次元をモデル化するために有効であるかを検討すること。
• 事前学習表現を用いた言語能力分類におけるゼロショットクロスリンガル転送の可能性を評価すること。
• UPOS n-gram、埋め込み、基本特徴量といったさまざまな特徴タイプが、複数の言語および言語能力次元でどのように性能を発揮するかを比較すること。
• 多言語設定において、低リソース言語の性能を向上させるために、多言語モデルを微調整することが有効であるかを評価すること。
• 言語間で共有される表現を用いて、普遍的な多言語言語能力モデルを構築できるかを検討すること。

提案手法

• CEFRに準拠したドイツ語、イタリア語、チェコ語の学習者による書写サンプルから構成された多言語コーパスを構築し、7つの言語能力次元についてアノテーションを実施した。
• UPOS n-gram、BERTベースの文脈的埋め込み（mBERT）、および基本特徴量（例：ドキュメント長）を含む言語的特徴量を抽出した。
• ロジスティック回帰とXGBoostを用いて、各言語能力次元ごとに分類モデルを別々に訓練した。
• mBERTをドイツ語コーパスで微調整し、イタリア語およびチェコ語のテストセットに対してゼロショット性能を評価した。
• マクロF1スコアと正答率の指標を用いて、言語および次元ごとのモデル性能を比較した。
• 誤り分析として、混同行列の手動による点検を実施し、次元および言語ごとの性能のばらつきを理解した。

実験結果

リサーチクエスチョン

• RQ1 mBERTのような多言語事前学習埋め込みは、英語以外の言語における多次元的言語能力分類に効果的に利用可能か？
• RQ2 微調整されたmBERTは、固定された埋め込みを使用する場合と比較して、多言語的言語能力モデリングの性能を向上させるか？
• RQ3 事前学習済み埋め込みを用いた言語能力分類において、ゼロショットクロスリンガル転送は可能か？
• RQ4 UPOS n-gramは、言語に依存しない強力なベースラインとして、言語をまたいでゼロショット言語能力スコアリングに適しているか？
• RQ5 すべての言語および言語能力次元で一貫して優れた性能を発揮する特徴タイプは存在するか？

主な発見

• UPOS n-gramは、すべての言語および次元において、単語埋め込みよりも一貫して優れた性能を示した。微調整済みmBERTに次いで高い性能を発揮した。
• 微調整済みmBERTは、単語埋め込みのスコアが低かった言語において顕著に性能を向上させ、多言語モデリングにおける価値を示した。
• mBERT埋め込みを用いたゼロショットクロスリンガル転送は効果的ではなく、UPOS n-gramがゼロショット状況においてより頑健であることが判明した。
• どの特徴グループも、すべての次元、言語、分類設定で一貫して優れた性能を発揮したわけではない。
• コherence/コhesion次元は、ベースライン特徴量を用いてもチェコ語で最も高い性能を示した。これは、言語的ヒントが容易に捉えられる可能性を示唆している。
• 混同行列の分析から、予想される傾向が確認された（例：A2/B1のような近接レベルは、離れたレベルと比べて識別が困難）。これは、モデルの挙動が先行研究と整合していることを示している。