[論文レビュー] Implicitly Incorporating Morphological Information into Word Embedding

Yang Xu, Jiawei Liu|arXiv (Cornell University)|Jan 10, 2017

Topic Modeling参考文献 19被引用数 15

ひとこと要約

本稿では、CBOWフレームワーク内で語素の入力をそれらの意味に置き換えることで、形態的意味を暗黙的に語の表現に組み込む3つの新しい単語埋め込みモデル—MWE-A、MWE-S、MWE-M—を提案する。これらのモデルは、語の類似性および文法的類推タスクにおいて、最先端のベースラインを著しく上回り、MWE-AはCBOWに比べて最大7%高い精度を達成し、5倍大きなコーパスでもCBOWと同等の性能を示す。

ABSTRACT

In this paper, we propose three novel models to enhance word embedding by implicitly using morphological information. Experiments on word similarity and syntactic analogy show that the implicit models are superior to traditional explicit ones. Our models outperform all state-of-the-art baselines and significantly improve the performance on both tasks. Moreover, our performance on the smallest corpus is similar to the performance of CBOW on the corpus which is five times the size of ours. Parameter analysis indicates that the implicit models can supplement semantic information during the word embedding training process.

研究の動機と目的

• 従来の単語埋め込みが表面的な形態的形態にとどまるという限界を解消すること。
• 語素の意味を直接的にモデリングするのではなく、語素の意味を暗黙的にモデル化することで、語の表現品質が向上するかを検討すること。
• 低リソースで形態的豊富な言語における意味的豊かさの向上を図るための手法を開発すること。
• 暗黙的な形態的意味の組み込みが、より強固で汎用性の高い単語埋め込みをもたらすことを示すこと。

提案手法

• 提案手法では、CBOWにおける入力語素を、事前に定義された語素意味マップに基づく意味に置き換える。
• 入力層への語素意味の統合戦略を異なる3つの戦略に基づき、MWE-A、MWE-S、MWE-Mの3つのバリアントを開発する。
• 効率的な学習のため、負例サンプリングを用い、CBOWの目的関数を維持しながら入力表現を変更する。
• 各語がその語素意味の集合にマッピングされる語マップを構築し、意味的な形態的知識の体系的統合を可能にする。
• 手法により、形態的に類似する語とその意味がベクトル空間内で暗黙的に一致し、構造的整合性が促進される。
• 主成分分析（PCA）を用いて、語素が類似する語が埋め込み空間内でクラスタを形成することを可視化する。

実験結果

リサーチクエスチョン

• RQ1 語素の意味を暗黙的に埋め込むことで、明示的な語素ベースのモデルと比較して、語の類似性および文法的類推タスクの性能が向上するか？
• RQ2 暗黙的な形態的意味の使用が、特に低リソース環境下で、学習コーパスの意味的情報量を増強するか？
• RQ3 提案手法の性能は、コーパスサイズの変動に応じてCBOWおよび最先端のベースラインと比較してどうなるか？
• RQ4 埋め込みがベクトル空間内で、形態的類似性と意味的意味の両方をどの程度反映しているか？
• RQ5 提案手法は、形態的に豊富でリソースが限られた言語において特に有利であるか？

主な発見

• 提案手法、特にMWE-Aは、語の類似性タスクにおいてWordsim-353データセットでCBOWに比べて約5%、RG-65データセットで7%高い精度を達成した。
• 文法的類推タスクでは、MWE-AがCBOWに比べて約7%高い性能を示し、文法的構造の捉え込みに顕著な向上が見られた。
• 最小のコーパスでも、MWE-Aの性能はCBOWが5倍のコーパスを使用した場合の性能と同等であり、データ効率の高さが示された。
• パラメータ解析により、MWE-AはCBOWと比較して窓サイズやトークンサイズの変動に対してより安定しており、ロバスト性が示された。
• PCAによる可視化により、語素が類似する語がクラスタを形成し、それらが語素の意味に近接して配置されていることが確認された。
• 低リソース環境下でも明確な利点を示し、学習データ内の有効な意味的情報量が増加しているように見える。