[論文レビュー] Joint Word Representation Learning using a Corpus and a Semantic Lexicon

Danushka Bollegala, Mohammed Alsuhaibani+2 more|arXiv (Cornell University)|Nov 19, 2015

Topic Modeling参考文献 31被引用数 40

ひとこと要約

本稿では、大規模なテキストコーパスと意味的語彙辞書（WordNet）を統合することで、類義語や下位関係などの意味的関係を用いて共起パターンを正則化することにより、ベクトル表現を向上させる共同語彙表現学習手法を提案する。この手法は、コーパスベースの共起予測と意味的制約の両方を同時に最適化し、特に小規模コーパスにおいて、意味的類似性および語彙類推論ベンチマークで先行手法を顕著に上回る性能を発揮する。

ABSTRACT

Methods for learning word representations using large text corpora have received much attention lately due to their impressive performance in numerous natural language processing (NLP) tasks such as, semantic similarity measurement, and word analogy detection. Despite their success, these data-driven word representation learning methods do not consider the rich semantic relational structure between words in a co-occurring context. On the other hand, already much manual effort has gone into the construction of semantic lexicons such as the WordNet that represent the meanings of words by defining the various relationships that exist among the words in a language. We consider the question, can we improve the word representations learnt using a corpora by integrating the knowledge from semantic lexicons?. For this purpose, we propose a joint word representation learning method that simultaneously predicts the co-occurrences of two words in a sentence subject to the relational constrains given by the semantic lexicon. We use relations that exist between words in the lexicon to regularize the word representations learnt from the corpus. Our proposed method statistically significantly outperforms previously proposed methods for incorporating semantic lexicons into word representations on several benchmark datasets for semantic similarity and word analogy.

研究の動機と目的

• コーパスのみに依存する語彙表現学習の限界（深い意味的関係を無視し、希少語や曖昧語で困難をきたす）を解消すること。
• 語彙辞書のみに依存する手法の欠点（信頼できるベクトル推定に必要な共起データが不足）を克服すること。
• 大規模コーパスに含まれる統計的パターンと、WordNetのような語彙辞書の構造的意味的関係を両方活用する共同学習フレームワークを構築すること。
• 意味的類似性および語彙類推論検出などの下流NLPタスクにおける性能向上を図ること。
• 特に小規模コーパスにおける低リソース環境下での意味的正則化の影響を評価すること。

提案手法

• Penningtonら（2014）の手法を拡張し、正則化されたグローバル共起予測目的を用いて、コーパスと意味的語彙辞書から語ベクトルを同時に学習する。
• WordNetからの意味的関係（例：類義語、下位関係）を用いて、同じ関係に属する語が類似したベクトル表現を持つよう促す正則化項を構築する。
• 語ベクトルをランダムに初期化し、確率的最適化により更新することで、コーパス内の共起の予測誤差を最小化するとともに、意味的制約を満たす。
• 事前学習済みベクトルの微調整という後処理ステップではなく、初期学習段階で意味的知識を統合する点で、リファインディングとは異なる。
• 類義語、部品-全体関係など複数の意味的関係タイプを評価し、類義語関係が最も顕著な性能向上をもたらした。
• 300次元のベクトルを用いたフレームワークを構築し、さまざまなコーパスサイズとベクトル次元数でテストした。

実験結果

リサーチクエスチョン

• RQ1 語彙表現学習に意味的語彙辞書の関係を統合することで、意味的類似性および語彙類推論タスクの性能が向上するか？
• RQ2 異なるベンチマークにおいて、共同学習手法がコーパスのみ、リファインディングベースの手法と比較してどのように性能を発揮するか？
• RQ3 コーパスサイズが小さい場合、意味的語彙辞書の利点は低下するか、それとも増幅するか？
• RQ4 さまざまなベクトル次元数において、提案手法の性能はどれほど安定しているか？
• RQ5 WordNetのどの意味的関係タイプが語彙表現の向上に最も寄与しているか？

主な発見

• 提案手法は、コーパスと意味的語彙辞書を統合するすべての先行手法よりも、意味的類似性および語彙類推論タスクで統計的に有意に優れた性能を発揮する。
• RG、MC、MENのデータセットにおいて、コーパスのみのベースラインおよび他の比較手法を上回るスピアマン順位相関係数を達成した。
• コーパスサイズが小さい場合に、語彙辞書の利用による性能向上が顕著に顕われ、低リソース環境での利点が強いことが示された。
• 広い範囲のベクトル次元数において安定した性能を維持し、300次元で最適な性能が得られ、それ以上の次元数では劣化が見られなかった。
• 100次元でもコーパスのみのベースラインを上回る結果を示し、データ効率の高さを示した。
• WordNetの類義語関係を用いた場合に最も優れた結果が得られ、ベンチマーク全体で一貫して最大の向上をもたらした。