[論文レビュー] A Systematic Study of Leveraging Subword Information for Learning Word Representations

Yi Zhu, Ivan Vulić+1 more|arXiv (Cornell University)|Jan 1, 2019

Topic Modeling参考文献 54被引用数 8

ひとこと要約

本論文は、語彙分割法（例：BPE、Morfessor、教師あり）とサブワード構成関数（例：加算、自己注意、位置埋め込み）を体系的に変化させることで、サブワード情報を通じた単語表現学習の統合フレームワークを提案する。主な発見は、最適な設定が言語タイプと下流タスクに強く依存しており、無教師分割と単純な構成（例：加算）が、より複雑なまたは教師ありの代替手法を凌駆することが多いことである。

ABSTRACT

The use of subword-level information (e.g., characters, character n-grams, morphemes) has become ubiquitous in modern word representation learning. Its importance is attested especially for morphologically rich languages which generate a large number of rare words. Despite a steadily increasing interest in such subword-informed word representations, their systematic comparative analysis across typologically diverse languages and different tasks is still missing. In this work, we deliver such a study focusing on the variation of two crucial components required for subword-level integration into word representation models: 1) segmentation of words into subword units, and 2) subword composition functions to obtain final word representations. We propose a general framework for learning subword-informed word representations that allows for easy experimentation with different segmentation and composition components, also including more advanced techniques based on position embeddings and self-attention. Using the unified framework, we run experiments over a large number of subword-informed word representation configurations (60 in total) on 3 tasks (general and rare word similarity, dependency parsing, fine-grained entity typing) for 5 languages representing 3 language types. Our main results clearly indicate that there is no "one-sizefits-all" configuration, as performance is both language- and task-dependent. We also show that configurations based on unsupervised segmentation (e.g., BPE, Morfessor) are sometimes comparable to or even outperform the ones based on supervised word segmentation.

研究の動機と目的

• 多様な言語とタスクにおいて、サブワードレベルの情報がどのように単語表現学習を向上させるかを調査すること。
• 異なる言語的およびタスク的文脈で最高のパフォーマンスを発揮する分割法と構成関数を同定すること。
• 位置埋め込みや自己注意などの高度なコンponentsがモデル性能に与える影響を評価すること。
• 無教師分割法が、サブワード情報を通じたモデルにおいて、教師あり手法と同等またはそれを上回ることを確認すること。

提案手法

• フレームワークは語彙分割とサブワード構成を統合的なパイプラインとして統合し、異なるコンponentsの柔軟な実験を可能にする。
• 分割は無教師手法（BPE、Morfessor）または教師ありシステムを用い、入力語からサブワード単位を生成する。
• サブワード埋め込みは、さまざまな関数（単純な加算、要素ごとの乗算、自己注意メカニズム）を用いて最終的な単語表現に合成する。
• 位置埋め込みを組み込むことで、サブワードの位置効果をモデル化し、表現品質を向上させる。
• フレームワークは、語彙素性タグ（st）と構成戦略（pp、mp）のプラグイン統合をサポートし、それらの影響を検証する。
• ベースの単語レベル表現学習器としてスキップグラムモデルを用い、サブワードコンポーネントを文脈予測目的に供給する。

実験結果

リサーチクエスチョン

• RQ1 すべての言語とタスクに一般化可能な最適な分割法と構成関数の設定が存在するか？
• RQ2 BPE や Morfessor などの無教師分割法は、性能面で教師あり分割に比べてどうか？
• RQ3 位置埋め込みや自己注意といった高度なコンponentsは、異なる言語とタスクでどの程度パフォーマンスを向上させるか？
• RQ4 完全な単語表現（ww）の組み込みは、特に希少語に対してパフォーマンスを向上させるか？
• RQ5 自己注意ベースの構成と組み合わせた語彙素性タグ（st）は、どのような状況で有用か？

主な発見

• BPE や Morfessor などの無教師分割法は、語彙素性が豊富な言語では、しばしば教師あり分割を上回るか、同等の性能を発揮する。
• 加算構成関数は、すべてのタスクと言語で一貫して高いパフォーマンスを発揮し、多くの場合、自己注意などのより複雑な手法を上回る。
• 位置埋め込み（pp、mp）は、エンティティタイプ分類と依存解析タスクで顕著に性能を向上させ、特に根位置の特定にmpが顕著に有効である。
• BPE と単語レベル表現（ww）の組み合わせが、屈曲語や付加語の言語における単語類似度タスクで最も優れた結果をもたらす。
• 自己注意と語彙素性タグ（st）は、特定の設定（例：付加語の単語類似度）でのみ利点を示し、一般化性に限界があることが示唆される。
• サブワード情報を通じた表現のファインチューニングにより、希少語の意味的表現が向上し、最良の設定は、CARD希少語類似度ベンチマークで最先端モデルを0.111の類似度スコア上回った。