[論文レビュー] Analysing The Impact Of Linguistic Features On Cross-Lingual Transfer

Blazej Dolicki, Gerasimos Spanakis|arXiv (Cornell University)|May 12, 2021

Natural Language Processing Techniques参考文献 21被引用数 11

ひとこと要約

本稿は、30ヶ国語を対象にXLM-RとXTREMEベンチマークデータを用いて、微細な言語的特徴がマルチリンガルNLPモデルにおけるクロスリンガル転移性能にどのように影響するかを調査している。特定の句構造的特徴、特に語順が、集約された句構造的距離よりも2–4倍優れた予測性能を示し、最適なソース言語は下流タスクによって顕著に異なることが判明した。これは、すべてのタスクに共通の最適ソース言語が存在するという仮定を否定するものである。

ABSTRACT

There is an increasing amount of evidence that in cases with little or no data in a target language, training on a different language can yield surprisingly good results. However, currently there are no established guidelines for choosing the training (source) language. In attempt to solve this issue we thoroughly analyze a state-of-the-art multilingual model and try to determine what impacts good transfer between languages. As opposed to the majority of multilingual NLP literature, we don't only train on English, but on a group of almost 30 languages. We show that looking at particular syntactic features is 2-4 times more helpful in predicting the performance than an aggregated syntactic similarity. We find out that the importance of syntactic features strongly differs depending on the downstream task - no single feature is a good performance predictor for all NLP tasks. As a result, one should not expect that for a target language $L_1$ there is a single language $L_2$ that is the best choice for any NLP task (for instance, for Bulgarian, the best source language is French on POS tagging, Russian on NER and Thai on NLI). We discuss the most important linguistic features affecting the transfer quality using statistical and machine learning methods.

研究の動機と目的

• マルチリンガルNLPモデルにおけるゼロショットクロスリンガル転移の成功を最も強く予測する言語的特徴を特定すること。
• 低リソース環境下で、あらゆるタスクに共通して最適な1つのソース言語が存在すると仮定することを検証すること。
• 微細な言語的特徴が、集約された文法的距離よりも転移性能の予測に優れているかどうかを評価すること。
• 直感的ではなく、言語的類似性に基づいてソース言語を選択するための実証的フレームワークを提供すること。
• XTREMEベンチマークを拡張し、非英語言語での学習を可能にし、広くコミュニティが利用できるように結果を公開すること。

提案手法

• 非英語言語の学習を可能にするために拡張されたXTREMEベンチマークを用い、XLM-R baseモデルを30言語で訓練した。
• WALSデータベースから、語彙的特徴、語順、動詞的カテゴリー、名詞句構造をカバーする97の言語的特徴を抽出した。
• POSタギング、NER、XNLIタスクにおけるゼロショット性能を予測するために、統計的および機械学習モデル（例：ランダムフォレスト、XGBoost）を用いた。
• lang2vecを用いて文法的距離を計算し、微細な特徴と集約された距離指標を比較した。
• 各タスクごとに特徴の重要度分析を実施し、最も予測に寄与する言語的特徴を同定した。
• RMSEを用いてモデル性能を評価し、言語的特徴群ごとにアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 微細な言語的特徴を含めることで、言語間の集約的文法的距離よりも言語転移の予測性能が向上するか？
• RQ2 POSタギング、NER、XNLIタスクにおける「転移性」と性能に最も大きな影響を与える言語的特徴は何か？
• RQ3 多くのタスクに共通して有効な一般的な言語的特徴を特定できるか、それとも特徴の重要度はタスクに特化しているか？
• RQ4 語順、動詞的カテゴリーなどの異なる言語的特徴群は、タスク全体を通じてどのように転移性能に寄与しているか？

主な発見

• 微細な言語的特徴は、集約された文法的距離よりもゼロショット転移予測を2–4倍向上させた。語順特徴を用いたPOSタギングではRMSEが0.0401に達した。
• 語順はPOSタギングとNERの予測において最も予測能が高く、それぞれRMSEが0.0401および0.0487を達成し、構文的転移におけるその重要性を裏付けた。
• XNLIタスクでは、動詞的カテゴリーが最も重要な特徴群であった（RMSE 0.00772）、これはタスクに応じて異なる言語的次元が優位に働くことを示している。
• すべてのタスクに共通して予測能が高い言語的特徴は存在しなかった。例えば、ブルガリア語のPOSタギングではフランス語が最良、NERではロシア語、XNLIではタイ語が最適であった。
• 最良の転移性能を示すソース言語はタスクによって顕著に異なり、ブルガリア語ではそれぞれPOS、NER、XNLIタスクでフランス語、ロシア語、タイ語が最適であった。
• 本研究は、普遍的に最適なソース言語が存在しないことを確認した。転移性は非常にタスク依存的であり、特定の言語的一致に起因している。