[論文レビュー] Monolingual and Cross-Lingual Acceptability Judgments with the Italian CoLA corpus

Daniela Trotta, Raffaele Guarasci+2 more|arXiv (Cornell University)|Sep 24, 2021

Natural Language Processing Techniques参考文献 53被引用数 27

ひとこと要約

本稿では、英語のCoLAと同一の手法を用いて作成された、10,000文のイタリア語の文法的妥当性判断と9つの文脈的現象に関する追加アノテーションを備えた新しいイタリア語コーパス、ItaCoLAを紹介する。単語レベルのBERTモデルが多言語のXLM-RoBERTaを上回る性能を示す一方で、クロスリンガル微調整は低い性能であるものの、潜在的な可能性を示している。

ABSTRACT

The development of automated approaches to linguistic acceptability has been greatly fostered by the availability of the English CoLA corpus, which has also been included in the widely used GLUE benchmark. However, this kind of research for languages other than English, as well as the analysis of cross-lingual approaches, has been hindered by the lack of resources with a comparable size in other languages. We have therefore developed the ItaCoLA corpus, containing almost 10,000 sentences with acceptability judgments, which has been created following the same approach and the same steps as the English one. In this paper we describe the corpus creation, we detail its content, and we present the first experiments on this new resource. We compare in-domain and out-of-domain classification, and perform a specific evaluation of nine linguistic phenomena. We also present the first cross-lingual experiments, aimed at assessing whether multilingual transformerbased approaches can benefit from using sentences in two languages during fine-tuning.

研究の動機と目的

• イタリア語やその他の非英語言語における大規模かつ高品質な妥当性判断リソースの不足に対処すること。
• 英語のCoLAを模倣した、標準的かつ方法論的に一貫性のあるイタリア語の文法的妥当性コーパスの構築。
• BERTベースのモデルと多言語のXLM-RoBERTaモデルを用いた、単語レベルおよびクロスリンガル分類性能の評価。
• 妥当性判断における特定の言語現象の詳細な分析を可能にする。

提案手法

• ItaCoLAコーパスは、既存の言語学的文献から10,000文を抽出し、専門家言語学者による妥当性判断を割り当てた。
• 文の30％のサブセットが、wh-島、助動詞違反、補助動詞構文などの9つの言語現象について手動でアノテートされた。
• 単語レベルの分類には、ItaCoLAのトレーニング分割に微調整されたBERTベースの分類器を用いた。
• クロスリンガル実験では、英語のCoLAとイタリア語のItaCoLAの両方のトレーニングデータに同時に微調整されたXLM-RoBERTa-baseを用いた。
• モデルの性能は、メタ・コルレーション係数（MCC）を用いて評価され、ドメイン内およびドメイン外のテストセットを用いた。
• 単語レベルとクロスリンガルの設定を比較し、ゼロショットクロスリンガル推論も含めた。

実験結果

リサーチクエスチョン

• RQ1 英語のCoLAと同一の手法を用いて、大規模かつ専門家がアノテートしたイタリア語の妥当性コーパスを構築できるか？
• RQ2 ItaCoLAにおける単語レベルのBERTベース分類性能は、英語のCoLAでの結果と比べてどの程度か？
• RQ3 XLM-RoBERTaのような多言語モデルは、英語とイタリア語の妥当性データを併用して微調整することで、どの程度利益を得られるか？
• RQ4 文の複雑さ、特に1つの文に複数の言語現象が含まれる場合、分類性能にどのような影響を与えるか？
• RQ5 英語からイタリア語へのクロスリンガル転移学習は、妥当性分類で競争力のある結果を達成できるか？

主な発見

• ドメイン内テストセットにおいて、ItaCoLAコーパスはメタ・コルレーション係数（MCC）0.517を達成し、英語のCoLAにおけるBERTの報告値0.582と同等の性能を示した。
• ItaCoLAにおける単語レベルのBERTモデルは、イタリア語テストセットでMCC 0.440を記録した多言語のXLM-RoBERTaを上回った。
• XLM-RoBERTaを用いたクロスリンガルゼロショット推論は、英語およびイタリア語の両方のテストセットでMCC 0.114と低かった。
• 複数のアノテート済み現象を含む文では性能が著しく低下した：MCCは1つの現象の文では0.363 ± 0.021から、複数の現象を含む文では0.308 ± 0.041に低下した。
• 特定の現象において最も良い結果を出したのはWh-島と助動詞違反であり、補助動詞構文と単純文では性能が低かった。
• イタリア語サブセットのみで微調整した場合、MCC 0.440を記録したが、ゼロショットクロスリンガル推論を上回ったものの、英語の単語レベルBERTの性能には及ばなかった。