[論文レビュー] Addressing Cross-Lingual Word Sense Disambiguation on Low-Density Languages: Application to Persian

Navid Rekabsaz, Mihai Lupu+2 more|arXiv (Cornell University)|Nov 16, 2017

Natural Language Processing Techniques参考文献 12被引用数 3

ひとこと要約

本稿では、単語埋め込みと文脈語項との翻訳語間の意味的類似度を用いて、低リソース言語向けに教師なしの跨言語的語義解釈（CL-WSD）手法を提案する。この手法は、英語からペルシャ語へのCL-WSDベンチマークにおいて、標準ベースラインおよび最先端のCO-Graphシステムを上回り、OOF設定ではF-measure 0.502、Best設定では0.188を達成した。

ABSTRACT

We explore the use of unsupervised methods in Cross-Lingual Word Sense Disambiguation (CL-WSD) with the application of English to Persian. Our proposed approach targets the languages with scarce resources (low-density) by exploiting word embedding and semantic similarity of the words in context. We evaluate the approach on a recent evaluation benchmark and compare it with the state-of-the-art unsupervised system (CO-Graph). The results show that our approach outperforms both the standard baseline and the CO-Graph system in both of the task evaluation metrics (Out-Of-Five and Best result).

研究の動機と目的

• 並列コーパスや知識資源が不足する低密度言語（例：ペルシャ語）における語義解釈の課題に対処すること。
• リソース不足を補うために、モノリンガルコーパスと二言語語彙のみに依存する教師なしCL-WSD手法を開発すること。
• 新しく確立された英語→ペルシャ語CL-WSDベンチマークを用いて、提案手法の低リソース環境下での性能を評価すること。
• 外部知識や並列データに依存せずに、単語埋め込みに基づく意味的類似度がCL-WSD性能の向上に寄与することを示すこと。

提案手法

• ターゲット言語（ペルシャ語）の単語埋め込みを用い、ベクトル表現のコサイン類似度により、翻訳候補語と文脈語項との意味的類似度を計算する。
• 任意の多単語ペルシャ語翻訳語のうち、文脈のターゲット語項と最大のコサイン類似度を計算する一般化された類似度関数を定義する。
• ContextVecアルゴリズムを適用し、各文脈語項から類似度が最も高い翻訳ベクトルを集約して、単一の文脈ベクトル表現を生成する。
• 2つの集約戦略（RelAgg：正規化付きベクトル和、RelGreedy：類似度が最も高い翻訳語のグリーディ選択）を用いて、文脈関連スコアを計算する。
• 類似度計算に翻訳頻度を確率的重み $ P(t) $ として組み込み、より一般的な翻訳語を優先する。
• 二言語語彙と品詞付き文脈語項（名詞および動詞）を活用し、英語の曖昧語項に対して翻訳セットを生成し、ペルシャ語にマッピングする。

実験結果

リサーチクエスチョン

• RQ1 単語埋め込みと意味的類似度に基づく教師なしCL-WSDアプローチは、ペルシャ語のような低リソース環境でも、既存の最先端システムを上回ることができるか？
• RQ2 モノリンガルコーパスとシンプルな二言語語彙の使用は、CL-WSDにおいて大規模な並列コーパスや知識ベースの代替として効果的か？
• RQ3 文脈ベースの単語埋め込みと類似度集約戦略は、新規に構築された英語→ペルシャ語ベンチマークで、どれほど語義解釈の正確性を向上させるか？
• RQ4 意味的トピックが曖昧語項と文脈語項の間に一致しない場合、文脈ベースのbag-of-wordsアプローチにどのような限界が生じるか？

主な発見

• 提案手法のRelAggは、OOF評価設定でF-measure 0.502を達成し、標準ベースライン（0.418）およびCO-Graph（0.441）を顕著に上回った。
• より困難なBest評価設定では、RelAggはF-measure 0.188を達成し、標準ベースライン（0.158）およびCO-Graph（0.174）を上回った。
• RelAggとRelGreedyは同等の性能を示し、OOF設定ではRelAggがわずかに優れており、ベクトル集約の堅牢性を示した。
• 'mood' や 'side' のような語項では、すべてのシステム（含む本手法）が、文脈語項と曖昧語の意味的対応が弱いために困難をきたした。これはbag-of-words文脈モデルの本質的限界を示している。
• これらの限界にもかかわらず、本手法は低リソース環境でも優れた性能を示し、知識ベースや教師ありアプローチがリソース不足のため失敗する状況でも有効であることを実証した。
• 結果から、並列データや知識リソースが利用できない低密度言語におけるCL-WSDにおいて、単語埋め込みに基づく意味的類似度が実用的で効果的な代替手段であることが確認された。