[論文レビュー] Zero-Shot Cross-Lingual Dependency Parsing through Contextual Embedding Transformation

Haoran Xu, Philipp Koehn|arXiv (Cornell University)|Mar 3, 2021

Topic Modeling参考文献 26被引用数 4

ひとこと要約

本稿では、感覚レベルの文脈的埋め込み変換を用いたゼロショット多言語依存解析手法を提案する。銀の対応する平行文を活用し、反復的正規化を用いて非均一性を軽減する。Universal Dependencies 2.6において最先端の手法を上回り、k-meansクラスタリングと直交的プロクラステス変換を用いて多義語表現をマッピングすることで、UASおよびLASの両面で顕著な向上を達成した。

ABSTRACT

Linear embedding transformation has been shown to be effective for zero-shot cross-lingual transfer tasks and achieve surprisingly promising results. However, cross-lingual embedding space mapping is usually studied in static word-level embeddings, where a space transformation is derived by aligning representations of translation pairs that are referred from dictionaries. We move further from this line and investigate a contextual embedding alignment approach which is sense-level and dictionary-free. To enhance the quality of the mapping, we also provide a deep view of properties of contextual embeddings, i.e., anisotropy problem and its solution. Experiments on zero-shot dependency parsing through the concept-shared space built by our embedding transformation substantially outperform state-of-the-art methods using multilingual embeddings.

研究の動機と目的

• 静的語彙レベルの埋め込みを越えて感覚レベルの文脈的表現を用いることで、ゼロショット多言語依存解析の性能を向上させること。
• 貴重な翻訳語彙索引に依存せず、平行コーパスからの銀のトークンペアを用いることで、翻訳語彙索引の必要性を排除すること。
• 文脈的埋め込みにおける非均一性がゼロショット転送性能を低下させる問題を是正すること。
• 変換の前段階で多義語語彙表現を感覚レベルの表現にクラスタリングすることで、マッピングの精度を向上させること。
• 多言語Bertと線形変換を用いて、ゼロショット依存解析で最先端の性能を達成すること。

提案手法

• Fast Alignを用いて、平行単語コーパスから銀の対応するトークンペアを抽出する。
• 単語コーパス用のモノリンガルBERTモデルを用いて、源言語および標的言語の両方の文脈的埋め込みを取得する。
• 各語彙タイプごとに標的言語側の文脈的埋め込みに対してk-meansクラスタリングを適用し、感覚レベルの表現を導出する。
• 対応する源言語側の埋め込みを用いて、同時に源言語側でも感覚レベルの表現を形成する。
• 変換の前に文脈的埋め込みの非均一性を低減するために反復的正規化（IN）を適用する。
• 感覚レベルの埋め込みペアに対してProcrustes回転を用いて線形変換行列を導出する。

実験結果

リサーチクエスチョン

• RQ1 感覚レベルの文脈的埋め込みの一致が、語彙レベルの一致よりもゼロショット多言語依存解析で優れた性能を発揮するか？
• RQ2 銀の対応する平行データを用いた辞書フリーなアプローチが、貴重な翻訳語彙索引に依存する手法よりも優れた性能を発揮するか？
• RQ3 文脈的埋め込みにおける非均一性の是正が、ゼロショット転送性能にどの程度寄与するか？
• RQ4 文脈的埋め込みのk-meansクラスタリングが、多義語語彙表現を分離し、マッピングを改善できるか？
• RQ5 標準ベンチマークで多言語fastTextおよびmBERTを用いた最先端の手法と比較して、本手法はどのように差をつけるか？

主な発見

• 提案手法である感覚レベルの埋め込み変換は、すべてのゼロショット多言語依存解析評価において語彙レベルのマッピングを上回るUASおよびLASスコアを達成した。
• 本手法はUniversal Dependencies 2.6において、多言語fastTextおよびmBERTを用いた最先端の手法を上回った。
• 反復的正規化は文脈的埋め込みの非均一性を顕著に低減し、線形変換の品質を向上させた。
• 感覚レベルのクラスタリングにより、異なる語義が別々のベクトルクラスタに分離され、マッピングの精度が向上した。
• Fast Alignと平行コーパスを用いた辞書フリーなアプローチは、貴重な二語対訳語彙索引を必要とせず、強力な性能を発揮した。
• 本手法は多様な言語ペアにわたり一貫した向上を示し、ゼロショット設定における頑健な一般化能力を示した。