[論文レビュー] How Language-Neutral is Multilingual BERT?

Jindřich Libovický, Rudolf Rosa+1 more|arXiv (Cornell University)|Nov 8, 2019

Topic Modeling参考文献 17被引用数 76

ひとこと要約

本論文は mBERT が言語特異的な成分と言語中立的な成分の両方を含むことを示している; 中心化は検索と整列のための言語中立性を高め、監視付き線形射影はクロスリンガル検索を大幅に改善できるが、機械翻訳品質推定は依然として挑戦的である。

ABSTRACT

Multilingual BERT (mBERT) provides sentence representations for 104 languages, which are useful for many multi-lingual tasks. Previous work probed the cross-linguality of mBERT using zero-shot transfer learning on morphological and syntactic tasks. We instead focus on the semantic properties of mBERT. We show that mBERT representations can be split into a language-specific component and a language-neutral component, and that the language-neutral component is sufficiently general in terms of modeling semantics to allow high-accuracy word-alignment and sentence retrieval but is not yet good enough for the more difficult task of MT quality estimation. Our work presents interesting challenges which must be solved to build better language-neutral representations, particularly for tasks requiring linguistic transfer of semantics.

研究の動機と目的

• zero-shot morphology/syntax transferを超えた mBERT の意味的なクロスリンガル特性を評価する。
• mBERT の文表現を言語特異的および言語中立的な成分に分解する。
• 文検索、単語整列、および MT 品質推定を通じて言語中立性を評価する。
• 言語中立性を高める方法を調査する（中心化、射影、ターゲットを絞ったファインチューニング、敵対的除去）。

提案手法

• 言語セントロイドを文表現から差し引くことで言語特異な情報を中心化する。
• 層ごとの表現を、言語識別、言語類似性、並行文検索、語の整列、および MT 品質推定といったタスクで検証する。
• 小規模な並列データを用いて英語空間への線形射影を評価する。
• 検索と整列タスクで、非中心化、中心化、および射影ベースの表現を比較する。
• UDify を用いた mBERT のファインチューニングと、言語不依存（lng-free）な敵対的設定を組んで、言語中立性への影響を検証する。

実験結果

リサーチクエスチョン

• RQ1 104言語にまたがる意味タスクにおいて、mBERT はどの程度言語中立的と言えるか。
• RQ2 中心化や線形射影は、クロスリンガル検索と整列に有用な言語非依存表現を生み出せるか。
• RQ3 多言語の統語/形態素に対するファインチューニングや、言語識別性を敵対的に除去することは、意味的なクロスリンガリティにどのように影響するか。
• RQ4 意味的クロスリンガル転送を最もよく反映するタスクはどれか、また現在の表現はどこで失敗しているか（例：MT品質推定）？

主な発見

• 表現の中心化は言語識別の精度を低下させ、言語特異的信号の除去を示している。
• 言語セントロイドは主に言語ファミリごとにグループ化され、部分的な言語類似性を示している。
• 中心化はクロスリンガル文検索を大幅に改善し、小さな監視付き射影は正確さをさらに高め、ほぼ完璧な検索に近づける。
• mBERT 表現を用いた語対整列は、いくつかの言語ペアで FastAlign を上回り、中心化の影響をほとんど受けない。
• MT 品質推定は非中心化または射影ベースの距離と弱くしか相関せず、監視付き回帰が最も良い性能を示す；中心化のみでは QE に不十分。
• ファインチューニング（UDify）は言語アイデンティティを消去せず、意味的クロスリンガリティを低下させる可能性がある。対照的に敵対的な言語除去（lng-free）は他のタスクを損なうことなく言語信号を抑制できる。