[論文レビュー] Multilingual Word Sense Disambiguation with Unified Sense Representation

Ying Su, Hongming Zhang+2 more|arXiv (Cornell University)|Oct 14, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、BabelNetからの統一された意味表現を活用し、高資源言語（例：英語）のアノテーションを機械翻訳およびアライメントを用いて低資源言語へ転送することで、多言語意味解釈（MWSD）を向上させるmBERT-UNIという多言語意味解釈システムを提案する。共有された意味表現を用いて多言語データを共同で学習することで、英語における高い性能を維持するとともに、低資源言語における性能を向上させ、特に希少な意味表現の解釈において優れた結果を示す。

ABSTRACT

As a key natural language processing (NLP) task, word sense disambiguation (WSD) evaluates how well NLP models can understand the lexical semantics of words under specific contexts. Benefited from the large-scale annotation, current WSD systems have achieved impressive performances in English by combining supervised learning with lexical knowledge. However, such success is hard to be replicated in other languages, where we only have limited annotations.In this paper, based on the multilingual lexicon BabelNet describing the same set of concepts across languages, we propose building knowledge and supervised-based Multilingual Word Sense Disambiguation (MWSD) systems. We build unified sense representations for multiple languages and address the annotation scarcity problem for MWSD by transferring annotations from rich-sourced languages to poorer ones. With the unified sense representations, annotations from multiple languages can be jointly trained to benefit the MWSD tasks. Evaluations of SemEval-13 and SemEval-15 datasets demonstrate the effectiveness of our methodology.

研究の動機と目的

• 高資源言語からのアノテーションを活用することで、多言語意味解釈（MWSD）におけるデータ不足問題に対処する。
• 意味解釈システムにおける複数言語にわたる不一致した語彙的知識とアノテーション不足の課題を克服する。
• BabelNetのシングレットと語彙的説明を用いて統一された意味表現を構築することで、言語間の共同学習を可能にする。
• 追加の人的アノテーションデータを必要とせず、低資源言語における性能を向上させる。
• 統一された意味表現による一般化により、希少な意味表現の解釈を強化する。

提案手法

• BabelNetのシングレットを用いて、複数言語にまたがる同じ意味を持つ語をグループ化することで、統一された意味表現を構築する。
• WordNetおよびWikipediaの語彙的説明（glosses）を意味表現に統合することで、意味理解を豊かにする。
• 機械翻訳および語のアライメントツールを用いて、高資源言語（例：英語）のアノテーションを低資源言語へ転送する。
• SemCorと自動生成された多言語コーパスを統合した多言語データセット上で、mBERTベースのモデル（mBERT-UNI）を共同で学習する。
• 言語間の共同学習により、特に低資源言語において、アノテーションの効率性とモデルの一般化性能を向上させる。
• MuLaNなどのデータ生成手法を統合することで、文脈を考慮した埋め込みと転移学習を活用し、性能をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 BabelNetからの統一された意味表現は、低資源言語における多言語WSD性能を向上させることができるか？
• RQ2 共有された意味表現を用いて多言語データを共同で学習することで、単言語学習に比べてより優れた意味解釈性能が得られるか？
• RQ3 人的アノテーションデータを一切使用せずに、高資源言語からのアノテーションを転送することで、低資源環境下でのMWSD性能が向上するか？
• RQ4 希少な意味表現（LCS）におけるモデルの性能は、限られた学習インスタンスがある中でどのように変化するか？
• RQ5 共同学習が英語のような高資源言語における性能に悪影響を及えるか？

主な発見

• mBERT-UNIモデルは、SemEval-13およびSemEval-15ベンチマークで最先端の性能を達成しており、英語とイタリア語のデータを共同で学習した際、イタリア語のテストセットで0.24%の絶対的向上を示した。
• 共同学習により、6つの低資源言語のうち4つ（ES, FR, DE, IT）で性能が向上し、英語でも同等の結果（ALLテストセットで75.70 vs. 75.76）を示した。
• 最も頻度が低い意味表現（LCS）において顕著な向上を示し、最小限の学習データでも統一された意味表現が希少な意味表現の一般化を強化していることを示した。
• 統一された表現に語彙的説明を組み込むことで、翻訳済みデータおよびMuLaN生成データを含むすべてのテストコーパスで希少な意味表現の性能が向上した。
• 共同学習を行っても英語WSDタスクにおける性能が著しく低下せず、低資源言語からの負の転送効果がないことを示した。
• 共通の意味空間を共有することで、効果的な跨言語転送が可能となり、MuLaNなどの他のデータ生成技術とも互換性がある。