[論文レビュー] What does it mean to be language-agnostic? Probing multilingual sentence encoders for typological properties

Rochelle Choenni, Ekaterina Shutova|arXiv (Cornell University)|Sep 27, 2020

Topic Modeling参考文献 31被引用数 29

ひとこと要約

本研究では、WALSデータベースを用い、語彙的、屈折的、構文的次元における言語タイプ論的特徴を、LASER、M-BERT、XLM、XLM-Rといった多言語文埋め込みモデルに対して、プローブ分類アプローチを用いて調査した。その結果、単言語事前学習（M-BERT、XLM-R）は、すべての層で言語固有のタイプ論的特徴をより良く保持しているのに対し、多言語事前学習（LASER、XLM）は、このような情報を下位層に局在化させ、言語に依存しない表現を促進するが、言語的特異性を損なうという結果となった。

ABSTRACT

Multilingual sentence encoders have seen much success in cross-lingual model transfer for downstream NLP tasks. Yet, we know relatively little about the properties of individual languages or the general patterns of linguistic variation that they encode. We propose methods for probing sentence representations from state-of-the-art multilingual encoders (LASER, M-BERT, XLM and XLM-R) with respect to a range of typological properties pertaining to lexical, morphological and syntactic structure. In addition, we investigate how this information is distributed across all layers of the models. Our results show interesting differences in encoding linguistic variation associated with different pretraining strategies.

研究の動機と目的

• 多言語文埋め込みモデルが、異なる言語的次元における言語のタイプ論的特徴をどの程度にエンコードしているかを調査すること。
• タイプ論的情報がモデルアーキテクチャのどの部分（具体的にはどの層）に局在化され、保持されているかを検討すること。
• 単言語学習と多言語学習の異なる事前学習戦略が、言語的多様性のエンコードに与える影響を比較すること。
• 言語に依存しない表現が、言語固有のタイプ論的特徴の保持を損なうかどうかを評価すること。
• XLMが、事前学習中に見られなかった言語のタイプ論的エンコードについて、どの程度一般化できるかを評価すること。

提案手法

• WALSデータベースのタイプ論的特徴を予測するために、二値または多値分類ヘッドを用いて、4つの多言語エンコーダー（LASER、M-BERT、XLM、XLM-R）の文表現をプローブする。
• 各層ごとのプローブ戦略を用いて、変換器エンコーダーの各層にわたるタイプ論的情報の分布を分析する。
• 各層ごとに別個の分類器を訓練し、各タイプ論的特徴のマクロ平均F1スコアを測定する。
• t-SNE可視化を適用して、最終隠れ層における言語表現の幾何的組織を検討する。
• 学習された混合重みとKLダイバージェンスを分析して、層を跨いで表現がどのように進化するかを評価する。
• XLMの事前学習時に見られなかった言語のタイプ論的特徴をプローブすることで、ゼロショット一般化能力をテストする。

実験結果

リサーチクエスチョン

• RQ1 多言語文埋め込みモデルは、語順、否定、代名詞の使用といったタイプ論的特徴をどの程度にエンコードしているか？
• RQ2 モデルアーキテクチャのどの部分—具体的にはどの層に—タイプ論的情報が局在化されたり、保持されたりしているか？
• RQ3 異なる事前学習目的（単言語対多言語）が、言語的多様性のエンコードに与える影響は何か？
• RQ4 普遍性（言語に依存しない性質）と、言語固有のタイプ論的特徴の保持の間にトレードオフがあるか？
• RQ5 XLMは、事前学習時に見られなかった言語のタイプ論的特徴を捕捉できるか？

主な発見

• すべてのエンコーダーが語順、否定、代名詞関連のタイプ論的特徴を効果的に捉えているが、M-BERTとXLM-Rは、語彙的および屈折的特徴においてLASERとXLMを上回っている。
• M-BERTとXLM-Rでは、タイプ論的情報がすべての層にわたり持続的にエンコードされている一方、LASERとXLMでは、情報が主に下位層に局在化され、上位層では消失している。
• 多言語事前学習目的（LASER、XLM）は、より言語に依存しない表現空間を生み出し、上位層で言語が共通のインターリングガル空間にクラスタリングされるが、言語固有のタイプ論的詳細が失われるという代償を伴う。
• 単言語事前学習目的（M-BERT、XLM-R）は、深い層ですら言語固有の部分空間を維持するようモデルを促進し、タイプ論的多様性の保持が強いと考えられる。
• XLMは、事前学習時に見られなかった言語に対しても一般化でき、そのタイプ論的特徴を効果的に捉えている。これは、強力なゼロショット転送能力を示している。
• 結果から、モデルの普遍性と言語固有のタイプ論的情報の保持の間に負の相関があることが示唆され、多言語学習は普遍性を高めるが、言語的特異性を犠牲にしていることがわかる。