[論文レビュー] Language-Independent Tokenisation Rivals Language-Specific Tokenisation for Word Similarity Prediction

Danushka Bollegala, Ryuichi Kiryo+2 more|arXiv (Cornell University)|Feb 25, 2020

Topic Modeling参考文献 31被引用数 4

ひとこと要約

本稿では、多言語的単語類似度予測において、言語に依存しないトークナイゼーション（LIT）（BPEと言語モデル化）と、言語固有のトークナイゼーション（LST）を比較している。SIFを用いたGloVe埋め込みの合成により、LITは10万語未塔の語彙サイズにおいてLSTを上回り、LITが低リソース言語やコンパクトなモデルに適していることを示している。また、サブワード空間は意味的・構文的構造を保持していることがわかった。

ABSTRACT

Language-independent tokenisation (LIT) methods that do not require labelled language resources or lexicons have recently gained popularity because of their applicability in resource-poor languages. Moreover, they compactly represent a language using a fixed size vocabulary and can efficiently handle unseen or rare words. On the other hand, language-specific tokenisation (LST) methods have a long and established history, and are developed using carefully created lexicons and training resources. Unlike subtokens produced by LIT methods, LST methods produce valid morphological subwords. Despite the contrasting trade-offs between LIT vs. LST methods, their performance on downstream NLP tasks remain unclear. In this paper, we empirically compare the two approaches using semantic similarity measurement as an evaluation task across a diverse set of languages. Our experimental results covering eight languages show that LST consistently outperforms LIT when the vocabulary size is large, but LIT can produce comparable or better results than LST in many languages with comparatively smaller (i.e. less than 100K words) vocabulary sizes, encouraging the use of LIT when language-specific resources are unavailable, incomplete or a smaller model is required. Moreover, we find that smoothed inverse frequency (SIF) to be an accurate method to create word embeddings from subword embeddings for multilingual semantic similarity prediction tasks. Further analysis of the nearest neighbours of tokens show that semantically and syntactically related tokens are closely embedded in subword embedding spaces

研究の動機と目的

• 言語に依存しないトークナイゼーション（LIT）が、多言語的単語類似度予測において言語固有のトークナイゼーション（LST）と同等またはそれを上回る性能を発揮するかどうかを評価すること。
• さまざまな言語において、語彙サイズがLITとLSTの性能に与える影響を評価すること。
• スムージング逆頻度（SIF）がサブワード埋め込みから単語埋め込みを合成する際の有効性を検証すること。
• サブワード埋め込み空間が、単語埋め込み空間に見られる意味的・構文的および類似関係の構造を保持しているかどうかを検討すること。
• 大規模コーパス上でのLIT手法（BPEと言語モデル化）の学習効率を比較すること。

提案手法

• LIT手法—バイトペアエンコーディング（BPE）と言語モデル化（LM）—は、言語固有のリソースを一切用いずに8つの言語に適用された。
• LST手法は、手動でトークナイズされたコーパスと言語固有の語彙集を用いて訓練された。
• サブワード埋め込みは、LITおよびLSTの両方のトークナイズドコーパス上でGloVeを用いて学習された。
• 単語埋め込みは、スムージング逆頻度（SIF）法を用いてサブワード埋め込みから合成された。SIF法は、ユニグラム確率に基づいてサブワードを重み付けし、最初の主成分を除去する。
• 単語ペア間の意味的類似度は、合成された単語埋め込み間のコサイン類似度として計算された。
• 最近傍解析と類似関係の解法を用いて、サブワード埋め込み空間内の構造的性質が評価された。

実験結果

リサーチクエスチョン

• RQ1 言語に依存しないトークナイゼーション（LIT）は、多様な言語において、言語固有のトークナイゼーション（LST）と同等またはそれ以上の性能を発揮するか？
• RQ2 語彙サイズが、意味的類似度タスクにおけるLITとLSTの相対的性能に与える影響は何か？
• RQ3 スムージング逆頻度（SIF）法は、多言語環境下でサブワード埋め込みから単語埋め込みを合成する際に有効であるか？
• RQ4 サブワード埋め込み空間は、単語埋め込み空間で観察される意味的および構文的関係を保持しているか？
• RQ5 BPEおよび言語モデル化（LM）のLIT手法の学習時間は、コーパスサイズの増加に伴いどのようにスケーリングするか？

主な発見

• 語彙サイズが10万語未満の場合、LIT手法（BPEおよびLM）は単語類似度予測においてLST手法を上回り、低リソース言語やコンパクトなモデルのシナリオに適していることが示された。
• 語彙サイズが10万語を超えると、LSTは一貫してLITを上回り、LSTがより大きな高品質な言語学的リソースの恩恵を受けることが示唆された。
• スムージング逆頻度（SIF）法は、サブワード埋め込みから単語埋め込みを合成する際に有効であり、多言語的意味的類似度タスクの性能向上に寄与した。
• 最近傍解析の結果、意味的および構文的に関連するサブトークンが、サブワード埋め込み空間で上位の近傍として検出された。これは、構造的整合性が保たれていることを示している。
• 類似関係（例：英語の接尾語、日本語の漢字複合語、トルコ語の動詞活用形）は、サブワード埋め込み空間で回復可能であり、関係性の構造が保持されていることが確認された。
• 言語モデル化（LM）はBPEよりも著しく高速であり、語彙サイズの増加に伴ってスケーリングが良く、BPEとは異なり語彙サイズが大きくなるほど学習時間が短縮された。