[論文レビュー] A Common Semantic Space for Monolingual and Cross-Lingual Meta-Embeddings

Iker García-Ferrero, Rodrigo Agerri+1 more|arXiv (Cornell University)|Jan 17, 2020

Topic Modeling被引用数 4

ひとこと要約

本稿では、異なるソース、言語、手法から得られる多様な単語埋め込みを線形変換と平均化を用いて共有された意味的空間に投影することにより、モノリンガルおよびクロスリンガルメタ埋め込みを構築する新しい手法を提案する。この手法は元の次元を保ち、未知語（OOV）の処理を効果的に行い、ハイパーパramータチューニングなしで語の類似度および品詞タグ付けのタスクで最先端の性能を達成する。

ABSTRACT

This paper presents a new technique for creating monolingual and cross-lingual meta-embeddings. Our method integrates multiple word embeddings created from complementary techniques, textual sources, knowledge bases and languages. Existing word vectors are projected to a common semantic space using linear transformations and averaging. With our method the resulting meta-embeddings maintain the dimensionality of the original embeddings without losing information while dealing with the out-of-vocabulary problem. An extensive empirical evaluation demonstrates the effectiveness of our technique with respect to previous work on various intrinsic and extrinsic multilingual evaluations, obtaining competitive results for Semantic Textual Similarity and state-of-the-art performance for word similarity and POS tagging (English and Spanish). The resulting cross-lingual meta-embeddings also exhibit excellent cross-lingual transfer learning capabilities. In other words, we can leverage pre-trained source embeddings from a resource-rich language in order to improve the word representations for under-resourced languages.

研究の動機と目的

• 情報損失を伴わずに、多様なソースからのモノリンガルおよびクロスリンガル単語埋め込みを統合する、強固でスケーラブルな手法の開発。
• 無視された場合に性能が低下しやすい、メタ埋め込み構築における未知語（OOV）問題の解決。
• 異なる埋め込みタイプ間でのハイパーパramータチューニングの必要性を排除し、一貫性があり効率的な統合を可能にする。
• 統一されたメタ埋め込みを用いて、内在的（例：語の類似度）および外在的（例：品詞タグ付け）の両タスクでの性能向上。
• リソース豊富な言語からの高品質な埋め込みを活用して、リソースが乏しい言語の表現を改善する、効果的なクロスリンガル転移学習の実現。

提案手法

• VecMapという最先端のベクトル空間マッピング技術を用いて、複数のソース単語埋め込みを共通の意味的空間に投影する。
• 異なるソース、言語、モデルからの埋め込みを整列させるために線形変換を適用する。
• 整列済み埋め込みの平均化を用いて最終的なメタ埋め込みを生成し、元の次元を保ちつつ情報損失を最小限に抑える。
• 未知語（OOV）に対して意味のある表現を割り当てるニューラルネットワークベースのOOV処理戦略を導入する。
• すべての実験で同一の固定ハイパーパramータを維持し、手法の単純さと頑健性を確保する。
• モノリンガルおよびクロスリンガルモデル、知識ベース、複数の言語からの埋め込みを含む多様なソースの埋め込みを統合し、統一されたメタ埋め込みを生成する。

実験結果

リサーチクエスチョン

• RQ1 異なる言語、ソース、モデルに由来する異種単語埋め込みに対して、効果的な共通の意味的空間を構築できるか？
• RQ2 未知語（OOV）の適切な処理が、モノリンガルおよびクロスリンガル設定におけるメタ埋め込みの品質にどのように影響するか？
• RQ3 一貫した、チューニングなしのハイパーパramータ戦略が、広範なチューニングを要する従来のメタ埋め込み手法をどれほど上回るか？
• RQ4 クロスリンガルメタ埋め込みは、品詞タグ付けや語の類似度といったモノリンガルの下流タスクでの性能を向上させることができるか？
• RQ5 提案手法は、先行の線形およびニューラルメタ埋め込み手法と比較して、内在的および外在的評価で最先端の結果を達成できるか？

主な発見

• 提案手法は語の類似度タスクで新たな最先端性能を達成し、教師ありニューラルモデルを含む従来手法を上回った。
• Universal Dependencies 1.2データセットにおける品詞タグ付けでは、英語で96.96%、スペイン語で97.35%の精度を達成し、新たなSOTAを樹立した。
• クロスリンガルメタ埋め込みは強力な転移学習能力を示し、リソースが乏しい言語の表現を高品質なソース埋め込みを活用して向上させた。
• 次元数比に対する性能の観点で、連結ベースのベースラインを上回った。連結法は高次元化を引き起こすが、本手法は情報損失を最小限に抑えつつ性能を維持した。
• OOV処理戦略により性能が顕著に向上した。OOV語にゼロベクトルを割り当てる手法では、性能の著しい低下が見られた。
• 本手法は頑健で効率的であり、多様な埋め込みタイプにわたりハイパーパramータチューニングが不要で、多数の埋め込みの迅速な統合を可能にした。